Медицинский ИИ отобрал 49,4% тестовых случаев с точностью 98,9%

Авторы собрали медицинского агента, который работает внутри учреждения, а не отправляет данные во внешний облачный сервис. Такой подход даёт организации больше контроля над тем, где хранятся записи и как система подключается к рабочим процессам. Но одной точности недостаточно: врачу важно понимать, когда ответу можно доверять, а когда модель сама «не уверена». Поэтому агент оценивал надёжность сразу с нескольких сторон — по внутренним вероятностям, особенностям формулировок и тому, насколько одинаковый диагноз он выдаёт при повторных попытках.

Самым полезным сигналом оказалась именно устойчивость ответа: если система снова и снова приходит к одному диагнозу, это чаще указывает на правильный результат. Этот показатель хорошо отделял верные ответы от ошибочных: площадь под кривой составила 0,860, а при дополнительной проверке в более сложных условиях — 0,875. Иными словами, авторы оценивали не только «что ответил ИИ», но и насколько стабильно он к этому ответу приходит.

Раньше автономность клинических ИИ ограничивали две практические проблемы: учреждениям нужен управляемый локальный запуск, а системе — понятный способ вовремя распознавать собственные ошибки. Авторы предлагают не заставлять ИИ решать всё самостоятельно, а использовать его как фильтр: стабильные и менее рискованные случаи можно выделять отдельно, а сомнительные отправлять человеку. При этом проверка проходила на специально подготовленных наборах из медицинской базы, поэтому схема ещё не показывает, как поведёт себя в настоящей больнице с неполными данными и реальными рабочими процессами.