dumaiСнимки и отчёты вместе лучше различали доброкачественные случаи
Препринт, ещё не рецензирован · ранние данные
Кратко
Модель объединила рентгеновские снимки груди и отчёты врачей и проверила их на данных 1632 пациентов, которым рекомендовали биопсию. Она лучше различала доброкачественные и злокачественные результаты, чем системы только по снимкам или только по тексту: лучший показатель способности различать случаи составил 0,72 против 0,66 и 0,68. При высокой способности не пропускать опасные случаи модель часто ошибалась с доброкачественными: доля правильно распознанных таких случаев составляла 11–40%.
Зачем это знать?
Такой подход указывает на возможный способ находить пациентов, которым биопсия может оказаться не нужна. Но модель проверили только на одной выборке, и сокращение числа биопсий пока не доказано.
Разбор
Модель получила сразу два источника информации: четыре проекции маммографии каждого пациента и текст заключения рентгенолога. Для снимков она использовала Vision Transformer — нейросеть, которая разбирает изображение на участки и ищет важные признаки, — а для текста DeBERTa, модель для понимания языка. Затем система объединила результаты этих двух анализов перед финальным решением. Такой подход нужен потому, что снимок и заключение могут дополнять друг друга: врач в тексте описывает наблюдения, которые не сводятся к одному визуальному признаку.
Авторы отдельно проверяли, какие области снимка повлияли на ответ модели. Для этого применили Grad-CAM — метод, который накладывает на изображение тепловую карту и подсвечивает участки, важные для прогноза. Это не доказывает, что модель рассуждает как врач, но помогает увидеть, не опирается ли она на явно случайную область. До этого сравнения проводили отдельно: одна система анализировала только изображения, другая — только отчёты; мультимодальный вариант оказался сильнее обеих базовых версий.
Помимо показателя различения случаев, модель получила точность 87%, а её наивысшая точность положительных прогнозов составила 94%. При этом цена высокой осторожности заметна: чем меньше опасных случаев система пропускала, тем больше доброкачественных результатов она относила к подозрительным. Поэтому работа показывает скорее способ расставлять приоритеты и поддерживать врача, чем готовый инструмент для отказа от биопсии.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, поэтому независимая проверка рецензентами ещё впереди. Модель проверили на одной ретроспективной выборке из одного учреждения, а внешней проверки на других клиниках и пациентах в абстракте нет; кроме того, даже высокая чувствительность сопровождалась низкой специфичностью, то есть множеством ложных тревог.
- Это препринт, результаты ещё не прошли независимую научную проверку.
- Данные ретроспективные и взяты из одной внутренней выборки из 1632 пациентов; внешняя проверка на других клиниках не указана.
- При высокой чувствительности модель часто ошибалась с доброкачественными случаями: специфичность была низкой, поэтому реальное сокращение числа биопсий не продемонстрировано.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено