ИИ может принимать редких пациентов за сомнительные случаи
Препринт, ещё не рецензирован · ранние данные
Кратко
Системы ИИ, которые передают врачу неуверенные случаи, проверили в 56 синтетических условиях и трёх группах пациентов с рассеянным склерозом, болезнями Паркинсона и Альцгеймера. При большом перевесе обычных случаев система чаще принимала редких пациентов за неоднозначные, даже когда их прогноз можно было сделать достаточно уверенно; предложенная проверка уменьшала этот перекос в изученных условиях.
Зачем это знать?
Для медицинского ИИ это показывает скрытую проблему: внешне осторожная система может чаще исключать редких пациентов из автоматических решений. Результат пока относится к искусственным условиям и трём группам пациентов, поэтому не говорит о готовности метода к работе в клиниках.
Разбор
Авторы проверяли не только точность прогнозов, но и то, как система решает: ответить самой или передать случай врачу. Для этого они много раз делили данные на обучающую и проверочную части, обучали пять разных моделей, калибровали их вероятности и объединяли прогнозы. Разброс между моделями служил оценкой неуверенности: если модели сильно расходились, случай считали потенциально неоднозначным.
Проблема возникала из-за перекоса между классами: например, когда нужный исход встречается гораздо реже обычного. В такой ситуации высокая неуверенность могла означать не то, что конкретный прогноз сложен, а лишь то, что пациент относится к редкой группе. Поэтому стандартное правило передачи случаев врачу начинало отсеивать редких пациентов даже тогда, когда модели давали по ним достаточно согласованный прогноз.
Предложенная проверка сравнивала пациентов внутри их классов и учитывала порог, по которому принимают решение. Это вернуло правильную связь между неопределённостью и реальной сложностью случая: система лучше находила действительно неоднозначных пациентов, а не просто редких. Без такой настройки один общий показатель либо резко ухудшал чувствительность для меньшинства, либо защищал его ценой большего числа ошибок у большинства.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, поэтому другие учёные ещё не проверили работу в рамках рецензирования. Кроме того, выводы получены в синтетических сценариях и на трёх наборах данных, а не в проспективном клиническом исследовании; в реальной практике перекосы и цена ошибок могут отличаться.
- Это препринт, не прошедший независимую экспертную проверку.
- Результат получен на синтетических условиях и трёх когортах; переносимость на другие клинические задачи и реальные рабочие процессы не показана.
- Абстракт не сообщает размеров когорт и не даёт оснований считать метод готовым к клиническому внедрению.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено