Популярные тесты ИИ слабо похожи на повседневные запросы врачей

Препринт, ещё не рецензирован · ранние данные

Кратко

Авторы изучили 127 833 запроса 6 342 врачей, медсестёр и других специалистов из 35 областей. Документация и административные задачи составили 36,2% запросов, поиск знаний — 28,9%, а диагностика — 3,7%. Популярные тесты отражали лишь 31% структуры реальной работы. Работа сравнивает содержание запросов и тестов, а не качество ответов ИИ в клинической практике.

Зачем это знать?

Результаты ставят под сомнение то, насколько баллы популярных тестов описывают работу ИИ в повседневной клинической среде: большая часть реальных запросов связана не с диагностикой. Данные пользователей одного помощника могут не описывать другие системы.

Разбор

Авторы не пытались заново оценить, какой ИИ лучше ставит диагнозы. Они сначала собрали реальные обращения к одному помощнику во время его внедрения в медицинской организации, а затем разложили каждый запрос по нескольким признакам: какую задачу решает человек, чего он хочет от ответа, хватает ли данных для ответа и может ли ошибка навредить. Для такой разметки использовали RCQ-Map — созданную и проверенную клиницистами схему классификации медицинских запросов.

Затем исследователи собрали отдельную «карту» из 58 публичных тестов ИИ. Они сравнили не баллы моделей, а сами задания: какие виды работы встречаются в тестах и как часто врачи обращаются с такими задачами в жизни. Оказалось, что в типичном тесте вообще не было запросов на ведение документации, а тесты, которые специально создавали похожими на клиническую практику, не оказались заметно ближе к реальным обращениям, чем тесты из обычных отчётов о передовых моделях.

Есть и ещё одна важная деталь: более трети обращений нельзя было хорошо обработать в исходном виде — например, потому что в запросе не хватало нужных сведений. Значит, для оценки ИИ важно проверять не только правильность ответа на аккуратно составленный вопрос, но и то, умеет ли система распознать нехватку информации и безопасно с ней обойтись. Именно такие повседневные особенности работы популярные тесты часто оставляют за кадром.

Ключевые цифры

58 тестовИсследователи сравнили с реальной работой не пару случайных примеров, а большую подборку публичных тестов из разных наборов оценки ИИ.

8 месяцевЗапросы собирали в течение длительного периода внедрения помощника, поэтому анализ охватывает не один короткий экспериментальный день.

более трети запросовВо многих обращениях исходных данных было недостаточно для хорошего ответа — это важная часть реальной работы, которую тесты могут не учитывать.

Можно ли доверять

Это препринт с arXiv, поэтому его ещё не проверили независимые рецензенты. Масштаб данных большой, но запросы пришли пользователям одного институционального помощника; в другой медицинской организации, стране или системе соотношение задач может отличаться.

Это препринт, не прошедший полноценное рецензирование.
Данные собраны у пользователей одного институционального помощника за восьмимесячный период, поэтому они могут не описывать работу врачей в других системах.
Работа показывает несоответствие между тестами и реальными запросами, но сама по себе не измеряет качество ответов ИИ в клинической практике.

Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено

Источник и детали

ЖурналarXiv (via Hugging Face)

Дата публикации у нас13 октября 2026 г.

Дата источника7 октября 2026 г.

ОригиналОткрыть

АвторыKrithik Vishwanath, Haitong Lin, Anton Alyakin, Jin Vivian Lee, D. Brock Hewitt, Jie J. Yao, William Robert Small, Hammad A. Khan, Cordelia Orillac, Aakaash Varma