dumaiИИ меняет диагноз, если переставить те же факты
Препринт, ещё не рецензирован · ранние данные
Кратко
В тесте на 1 050 случаях из 24 групп болезней модели нередко ставили диагноз слишком рано, зависели от порядка фактов и поддавались вводящим в заблуждение данным. Отдельная проверка достаточности фактов повысила точность пяти моделей на 12,0–51,1 процентного пункта.
Зачем это знать?
Для медицинского ИИ одной точности недостаточно: системе важно проверять, хватает ли фактов для диагноза. Такой подход пока проверили только в тестовой среде, а не на пациентах.
Разбор
Авторы проверяли не только угадал ли ИИ диагноз, но и понял ли он, когда данных уже достаточно. Модели получали сведения о случае по одному, шаг за шагом. На каждом шаге им нужно было выбрать: подождать новых фактов или уже назвать диагноз. Такой формат помогает отделить обоснованный вывод от удачной догадки — обычная проверка по финальной точности этого не показывает.
Эксперимент выявил несколько разных сбоев. Модель могла правильно распознать болезнь, но слишком долго не решаться ответить; могла назвать правильный диагноз до появления достаточных оснований; меняла решение, когда те же факты переставляли местами; а добавленная ложная подсказка продолжала влиять на ответ даже после появления нужных доказательств. Причём более сильная модель или специальный режим рассуждений не гарантировали, что этих проблем не будет.
Затем авторы добавили к моделям отдельный «контрольный слой». Он сначала предлагает возможные диагнозы, затем сверяет их с независимыми подтверждениями и проверяет ссылки на факты, и только после этого разрешает отправить ответ. Для сравнения использовали похожие случаи с переставленными, повторными, не относящимися к делу и вводящими в заблуждение сведениями. Такой подход не просто повысил правильность ответов: он также сделал решения устойчивее к изменению порядка фактов и к сильным ложным подсказкам.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, поэтому работу ещё не прошла независимая проверка рецензентами. Модели тестировали на специально подготовленных случаях, а не на реальных пациентах; кроме того, в дополнительных проверках ошибки засчитывали и за отсутствие ответа, что влияет на сравнение методов. Результат важен как лабораторное доказательство проблемы, но сам по себе не показывает, насколько подход безопасен в клинической практике.
- Это препринт, а не прошедшее рецензирование исследование.
- Результаты получены на бенчмарке из 1 050 случаев, а не в реальной клинической практике и не на пациентах.
- Заявленный прирост относится к сравнению систем ИИ внутри тестовой среды; его переносимость на другие задачи и модели не показана.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено