dumaiОдин ИИ ошибался в каждом шестом диагнозе, будучи уверен на 90%
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы сравнили несколько ИИ на 172 экзаменационных вопросах по ревматологии и 70 учебных задачах с вариантами диагнозов. На экзамене лучший результат составил 99,4%, а в задачах о диагнозах — 76,9%; у одной модели ответы с уверенностью не ниже 90% были правильными лишь в 84,6% случаев.
Зачем это знать?
Оценка медицинских ИИ по одному экзамену может быть обманчивой: учебные задачи о диагнозах оказались труднее, а высокая уверенность не гарантировала правильный ответ.
Разбор
Авторы проверили модели двумя разными способами. Сначала дали им вопросы из испанских экзаменов для врачей-ревматологов — на испанском и английском. Затем использовали короткие клинические истории, где нужно выбрать диагноз из списка. Во втором наборе было от 5 до 18 вариантов ответа, а в 52 историях правильный диагноз точно присутствовал среди вариантов. Такой дизайн позволяет сравнить не только запоминание учебного материала, но и работу с более неоднозначным описанием случая.
Отдельно авторы проверяли калибровку — насколько заявленная моделью вероятность совпадает с реальной частотой правильных ответов. Это важно: ответ с вероятностью 90% должен оказываться верным примерно в девяти случаях из десяти. На экзаменационных вопросах у Jev такая оценка была довольно полезной, а на диагностических историях модель стала переоценивать себя. У разных моделей уверенность тоже работала по-разному: например, Clef неплохо отвечала, но хуже разделяла уверенные правильные ответы и сомнительные.
Результаты заметно зависели от конкретной модели: Laya оставалась примерно на уровне случайного выбора в обоих наборах, а Microsoft-Decision-1 часто ошибалась и при этом была слишком уверенной. Языковая версия экзамена — испанская или английская — заметно не меняла результат. Авторы поэтому не предлагают переносить выводы с одной модели или одного типа задач на все медицинские ИИ; перед применением в медицине они рекомендуют проверять модели на реальных клинических текстах и давать врачу возможность забрать задачу себе, если система не уверена.
Ключевые цифры
Можно ли доверять
Это препринт arXiv, поэтому работу ещё не проверили рецензенты журнала. Кроме того, модели тестировали на экзаменационных вопросах и учебных клинических историях, а не на реальных пациентах; авторы сами предупреждают, что один набор задач или одна модель не дают оснований обобщать результат на медицинские ИИ вообще.
- Это препринт, поэтому результаты ещё не прошли полноценную независимую проверку.
- Виньетки были учебными задачами, а не реальными клиническими случаями; переносимость результатов на медицинскую практику не показана.
- Сравнивались конкретные модели и два набора заданий, поэтому выводы нельзя автоматически обобщать на другие модели, задачи или языки.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено