dumaiТри открытые языковые модели достигли уровня 600–3000 лучших на испанском экзамене MIR
Препринт, ещё не рецензирован · ранние данные
Кратко
Четыре открытые языковые модели ответили на 1552 вопроса испанского экзамена MIR на врачебную специализацию; три более крупные показали результат примерно на уровне мест с 600-го по 3000-е. Дополнительное обучение на медицинских данных снизило точность, а изображения не изменили ответы. В 13–38% правильных ответов рассуждение было клинически ошибочным, хотя уверенность моделей этого не отражала.
Зачем это знать?
Экзамен проверяет знания, а не работу с пациентами: модели могут выглядеть как сильные кандидаты, но плохо распознают собственные ошибки, поэтому результаты не подтверждают готовность к клинической работе.
Разбор
Авторы проверяли модели не только по числу правильных ответов. Они прогнали четыре системы размером от 8 до 27 млрд параметров через восемь выпусков MIR за 2018–2025 годы и оценили ответы по официальным правилам экзамена. Для каждой задачи модели сначала выбирали вариант ответа и одновременно выдавали оценку уверенности — так исследователи проверили, умеют ли они отличать вероятную ошибку от надёжного ответа. Затем сравнили обычные модели с медицински дообученной версией: важно было понять, стало ли такое обучение действительно полезнее, а не просто изменило стиль ответов.
Отдельно авторы попросили модели объяснить выбор в 123 вопросах, где были комментарии врачей. Это позволило увидеть не только результат, но и ход рассуждения: иногда модель приходила к верному варианту по неверной клинической причине. Ещё 171 вопрос с изображениями повторили в трёх режимах: с исходной картинкой, без неё и с другой картинкой. Все запуски сделали детерминированными, то есть при одинаковых условиях модель не получала случайно разные ответы.
Экзаменационная система штрафует за ошибку, но этот штраф оказался слишком мягким, чтобы проверять осторожность модели: вероятность правильного ответа должна опуститься ниже 25%, прежде чем пропуск вопроса станет выгоднее попытки. Даже самые неуверенные ответы моделей проходили этот порог. Поэтому хороший результат на MIR не показывает, что система умеет безопасно отказываться от ответа. Для реальной клинической работы порог должен быть намного выше: ошибочная рекомендация может стоить дороже, чем решение передать случай врачу.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, поэтому работу ещё не проверили рецензенты. Данные масштабные для экзаменационного теста, но исследование оценивает четыре модели на вопросах MIR, а не работу с реальными пациентами; клинические выводы здесь остаются косвенными.
- Это препринт без независимой экспертной проверки.
- Оценивались четыре модели на экзаменационных вопросах, а не реальная клиническая работа с пациентами.
- Часть выводов о рассуждениях основана на 123 вопросах, а об использовании изображений — на 171 вопросе.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено