dumai
ИИarXiv cs.AI

Варианты ответа помогали ИИ точнее ставить диагноз в медицинских тестах

Препринт, ещё не рецензирован · ранние данные

Кратко

Семь моделей проверили на 1 035 описаниях случаев, а не в разговорах с пациентами. С вариантами ответа они ставили правильный диагноз в среднем в 76,9% случаев, без вариантов — в 57,0%. Один и тот же ошибочный совет снижал точность сильнее, если его приписывали врачу, а не неспециалисту: разница составляла от 4,6 до 38,2 пункта по шкале от 0 до 100%.

Зачем это знать?

Высокие оценки ИИ в медицинских тестах с вариантами ответа не гарантируют такой же точности в разговоре без подсказок. В проверке модели также отказывались от верного диагноза под влиянием чужого мнения, даже когда новых данных не было.

Разбор

Исследователи давали моделям сведения о медицинских случаях по частям. Затем они просили поставить диагноз и проверяли, как ответ меняется после чужого мнения или при разном числе врачей, поддержавших верный диагноз в письменном обсуждении.

Поддержка верного диагноза влияла на ответы моделей. Чем больше из пяти врачей в обсуждении соглашались с ним, тем чаще модели отвечали правильно — даже когда мнение большинства не менялось. Если модель отказывалась от верного ответа, она чаще давала неверный диагноз, чем вовсе воздерживалась от ответа; многие модели перенимали предложенную болезнь.

Ключевые цифры

1 035 случаевНа описаниях такого числа медицинских случаев проверяли ответы моделей.
76,9% и 57,0%С вариантами ответа модели в среднем чаще ставили верный диагноз, чем без них.
от 4,6 до 38,2 процентного пунктаНа столько итоговая точность была ниже, когда один и тот же ошибочный совет приписывали врачу, а не неспециалисту.

Можно ли доверять

Семь моделей проверили на 1 035 описаниях медицинских случаев, сравнивая их ответы с вариантами и без них, а также после разных мнений о диагнозе. Это проверка на заранее заданных описаниях, а не в разговорах с пациентами, поэтому по ней нельзя судить о точности моделей при общении с реальными пациентами.

  • Это препринт, а не прошедшая рецензирование статья.
  • Оценивались семь моделей на 1 035 случаях из пяти наборов данных, а не реальные клинические консультации с пациентами.
  • Советы и панели были письменными и искусственно заданными; их влияние может отличаться от поведения врачей и моделей в реальной практике.

Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено

Источник и детали
ЖурналarXiv (cs.AI)
Дата публикации у нас17 ноября 2026 г.
Дата источника14 ноября 2026 г.
ОригиналОткрыть
АвторыJinrui Fang, Runhan Chen, Yining Wu, Jiawei Xu, Xu Yang, Jian Yu, Wenqi Shi, Ying Ding, Yuji Zhang