ИИ-модели хорошо пишут ответы, но часто ошибаются в медицине

Авторы не просто посмотрели, «красиво ли» модель отвечает, а разобрали каждый клинический сценарий на отдельные маленькие проверки. Каждая такая проверка описывает один важный шаг: учла ли модель нужный симптом, не упустила ли риск, поняла ли, когда вмешательство лучше не назначать. Эти проверки ещё и взвесили по важности, чтобы случайная мелочь не спорила с тем, что действительно влияет на безопасность пациента.

Такой подход нужен потому, что обычные медицинские тесты уже во многом «забиты» — на них передовые модели набирают слишком высокие оценки, и это плохо показывает, где они реально ошибаются. Поэтому авторы специально собрали пять трудных сценариев от клиницистов из четырёх областей: анестезии, внутренней/семейной медицины, неотложки и акушерства. Сценарии были не из базы готовых вопросов, а из практических задач, где важно не просто угадать ответ, а собрать картину из противоречивых деталей.

Самое важное, что они увидели: модели часто справлялись с оформлением ответа и нужным стилем, но теряли именно клиническую суть. Иначе говоря, текст выглядел убедительно, а в решении не хватало ключевого вывода. Причём это особенно заметно на самых важных критериях: именно их модели пропускали чаще всего, а более «лёгкие» детали, наоборот, проходили гораздо лучше. В сумме 56 из 108 критических проверок не прошла ни одна из моделей.

Ещё один полезный результат — сам способ проверки. Авторы показали, что отдельные автоматические оценщики почти совпадают с экспертами в разметке «выполнено / не выполнено». Это значит, что такой метод можно масштабировать: не вручную разбирать каждый ответ, а строить крупный тест, который ловит не только форму, но и реальные клинические ошибки.