dumaiМедицинская модель объясняет диагноз, показывая нужные места на снимке
Умеренные доказательства
Кратко
Модель EVLF-FM обучили более чем на 1,3 млн медицинских изображений из 18 наборов данных. Они охватывали 10 видов медицинской съёмки и шесть специальностей. На внутренних проверках средняя точность диагностики составила 0,895, а на 13 443 внешних тестовых примерах из 17 наборов модель сохранила конкурентоспособность. Люди оценили понятность её объяснений на 4,25 из 5.
Зачем это знать?
Указание участков снимка может сделать выводы медицинской модели понятнее и помочь проверить, на какие признаки она опирается. Влияние таких объяснений на решения врачей, а также безопасность и эффективность модели в реальной практике ещё не проверены.
Разбор
Проблема не только в том, чтобы поставить диагноз по снимку. Многие медицинские модели хорошо работают лишь с одним типом изображений и выдают ответ без понятного объяснения. EVLF-FM собрали как универсальную систему: она умеет разбирать разные снимки, отвечать на вопросы о них и отмечать конкретные пиксели, которые поддерживают вывод. Такой подход позволяет сравнить слова модели с тем, что действительно видно на изображении.
Для обучения использовали два этапа. Сначала модель учили на размеченных примерах, где известны правильный диагноз и нужная область снимка. Затем применили дополнительную настройку с «подкреплением» — модель поощряли за объяснения, связанные с визуальными признаками, а не за один правильный ответ. В итоге она могла не только назвать заболевание, но и связать его с видимым участком изображения.
В отдельной проверке на визуальном поиске модель достаточно точно находила такие участки сразу в девяти типах медицинских изображений. Кроме того, она сохраняла конкурентные результаты в режиме без примеров и после обучения на небольшом числе примеров; это важно, потому что для нового типа данных не всегда есть большая размеченная база. При этом авторы отдельно подчёркивают: модель пока проверяли на наборах данных, а не в процессе работы врачей с пациентами.
Ключевые цифры
Можно ли доверять
Это рецензируемая работа в Nature Medicine, а модель проверили на больших наборах данных и на независимых внешних примерах. Но клиническую пользу пока не доказали: авторы не проверяли, как система меняет решения врачей и насколько она безопасна в реальной практике; для этого нужны проспективные исследования в разных медицинских условиях.
- Это оценка модели на наборах данных, а не проспективное клиническое исследование.
- Для рутинного применения нужны дополнительные проверки в разных медицинских учреждениях и оценка безопасности и клинической эффективности.
- Заявленная объяснимость основана на человеческой оценке с общим баллом 4,25 из 5, а не на доказанном улучшении решений врачей или исходов пациентов.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено