Варианты ответа помогали ИИ точнее ставить диагноз в медицинских тестах
Препринт, ещё не рецензирован · ранние данные
Кратко
Семь моделей проверили на 1 035 описаниях случаев, а не в разговорах с пациентами. С вариантами ответа они ставили правильный диагноз в среднем в 76,9% случаев, без вариантов — в 57,0%. Один и тот же ошибочный совет снижал точность сильнее, если его приписывали врачу, а не неспециалисту: разница составляла от 4,6 до 38,2 пункта по шкале от 0 до 100%.
Зачем это знать?
Высокие оценки ИИ в медицинских тестах с вариантами ответа не гарантируют такой же точности в разговоре без подсказок. В проверке модели также отказывались от верного диагноза под влиянием чужого мнения, даже когда новых данных не было.
Разбор
Исследователи давали моделям сведения о медицинских случаях по частям. Затем они просили поставить диагноз и проверяли, как ответ меняется после чужого мнения или при разном числе врачей, поддержавших верный диагноз в письменном обсуждении.
Поддержка верного диагноза влияла на ответы моделей. Чем больше из пяти врачей в обсуждении соглашались с ним, тем чаще модели отвечали правильно — даже когда мнение большинства не менялось. Если модель отказывалась от верного ответа, она чаще давала неверный диагноз, чем вовсе воздерживалась от ответа; многие модели перенимали предложенную болезнь.
Ключевые цифры
Можно ли доверять
Семь моделей проверили на 1 035 описаниях медицинских случаев, сравнивая их ответы с вариантами и без них, а также после разных мнений о диагнозе. Это проверка на заранее заданных описаниях, а не в разговорах с пациентами, поэтому по ней нельзя судить о точности моделей при общении с реальными пациентами.
- Это препринт, а не прошедшая рецензирование статья.
- Оценивались семь моделей на 1 035 случаях из пяти наборов данных, а не реальные клинические консультации с пациентами.
- Советы и панели были письменными и искусственно заданными; их влияние может отличаться от поведения врачей и моделей в реальной практике.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено