dumaiПрепринт — материал ещё не прошёл рецензирование
Медицинский ИИ хуже распознаёт новую болезнь у знакомых пациентов
Кратко
Авторы проверили, как медицинская ИИ-модель работает с будущими записями пациентов, чьи обезличенные прошлые данные уже были в обучении. В симуляциях при новом заболевании модель реже распознавала диагноз, а при неизменном состоянии лучше распознавала наличие болезни и её отсутствие; иногда эффект сохранялся для записей, собранных десятилетия спустя.
Зачем это знать
Результат указывает на скрытый риск: система может вести себя по-разному с пациентами, чьи данные помогли её обучить. По этой работе нельзя оценить, как часто такая ошибка встречается в реальной клинической практике.
Разбор
Авторы не просто сравнили ответы модели на случайных пациентах. Они взяли реальные продольные медицинские данные — записи одних и тех же людей, собранные в разные моменты, — и провели симуляцию: одну версию модели обучали на прошлых обезличенных записях пациента, а затем смотрели, как она оценивает его более поздние данные. Для сравнения использовали такую же модель, которая этих прошлых записей не видела. Такой подход нужен потому, что обычные проверки показывают среднюю точность системы, но могут не заметить, что она запомнила отдельных людей и поэтому иначе обрабатывает их будущие записи.
Можно ли доверять
Это препринт на arXiv, а не статья, прошедшая рецензирование. Данные были реальными, но основной вывод получили в симуляции, а не во время настоящего лечения; кроме того, авторы специально увеличили долю новых заболеваний в проверке, поэтому работа показывает направление и сам факт риска, но не его частоту в клиниках.
Пересказано ИИ по научной статье. Как это устроено