dumaiИИ-агент помог врачам чаще совпадать с консилиумом при опухолях крови
Кратко
Локально разворачиваемый ИИ-агент HemaGuide проверили на 45 сложных случаях, 555 независимых случаях из другого центра и в месячном «тихом» тесте без влияния на решения врачей. Во всех этих проверках совпадение с решением консилиума было около 82%. В симуляции ординаторы с его помощью приблизились к уровню старших врачей, а ошибки в виде выдуманных ответов встречались редко — в 0,3% случаев.
Как это использовать
Это может помочь больницам давать более одинаковые и быстрые рекомендации там, где не хватает узких специалистов. Но пока речь идёт о поддержке принятия решений, а не о доказанном улучшении лечения пациентов.
Разбор
Авторы не просто «проверили ИИ на диагнозах», а собрали для него целую рабочую схему. Сначала агент переводил разрозненные клинические документы в аккуратное описание случая — чтобы машине не приходилось гадать между строк. Потом он сам выбирал, в каком режиме отвечать: опираться на клинические рекомендации, разбирать сложный случай или отдельно смотреть на молекулярные данные, то есть на генетические и другие лабораторные маркеры опухоли. Чтобы ответы не были оторваны от реальности, систему привязали к схемам из рекомендаций и к памяти более чем из 2000 реальных случаев консилиумов.
Проблема, которую они пытались решить, очень практичная: решение по опухолям крови часто требует сразу нескольких специалистов, а такие консилиумы есть не везде и не всегда вовремя. Поэтому исследователи проверяли не только качество ответов, но и то, может ли такая система работать в обычной больнице, на обычном железе и без облака. И вот тут важная деталь: весь процесс укладывался в реальное время, а медианная задержка составила 39 секунд, тогда как ручная работа по молекулярным случаям обычно занимает часы.
Самые интересные результаты появились не в одной, а в нескольких проверках. Сначала систему сравнили с решением консилиума на 45 сложных случаях, потом — на 555 независимых случаях из другого центра, а затем ещё и в месячном «тихом» тесте, когда ИИ работал рядом с врачами, но не влиял на их решения. Во всех этих сценариях совпадение с консилиумом держалось примерно на одном уровне — около 82%. Отдельно смотрели и на молекулярные варианты: из 70 клинически важных замен в генах система очень хорошо совпала с экспертной оценкой и не понизила ни один опасный вариант до безобидного.
Ключевые цифры
Можно ли доверять
Это статья в Nature Medicine и она прошла рецензирование, так что базовый уровень доверия высокий. Но часть проверки была симулированной, а не в реальной клинической работе с последствиями для пациентов, поэтому это пока доказательство качества советов, а не пользы для исходов лечения. Хорошо, что есть внешняя проверка на 555 случаях и тихий проспективный тест, но оба оценивают согласие с консилиумом, а не то, стало ли пациентам лучше.
Пересказано ИИ по научной статье. Как это устроено