dumaiИИ выбрал нужный медицинский инструмент в 90,6% случаев
Препринт, ещё не рецензирован · ранние данные
Кратко
Система объединяет 18 специализированных ИИ-моделей для анализа изображений и других медицинских данных, а затем выстраивает их работу по цепочке. На публичных тестах по семи задачам она правильно выбирала нужную модель в 90,6% из 350 случаев; итоговая точность составила 0,98.
Зачем это знать?
Для медицинских ИИ это способ соединять узких специалистов в одну цепочку, а не заставлять одну модель решать всё. Результат получен на тестовых наборах, поэтому надёжность такой системы в клинической практике ещё не доказана.
Разбор
Проблема здесь не только в том, умеет ли ИИ распознать снимок. В реальной медицинской задаче может понадобиться несколько шагов: сначала разобрать изображение, затем передать результат другой системе и наконец собрать всё в один ответ. Авторы сделали «планировщика» — модель, которая решает, какой специализированный инструмент вызвать следующим, запускает их по очереди и формулирует вывод на основе полученных результатов. Все инструменты подключены через единый интерфейс, поэтому планировщику не нужно отдельно подстраиваться под формат каждого из них.
Планировщик обучили на примерах из 32 открытых медицинских наборов данных. В них были как простые случаи с одним инструментом, так и цепочки из нескольких инструментов, причём иногда требовалось сделать несколько раундов обращений. Затем авторы проверили систему на отложенных примерах — таких, которые не использовали при обучении. Это позволило отдельно оценить три вещи: правильный выбор инструмента, качество объединения его результатов и работу всей цепочки от начала до конца.
Самая заметная разница проявилась в сложных сценариях. Когда системе давали результаты инструментов заранее, она почти безошибочно сохраняла их смысл, не теряла важные детали и отвечала достаточно кратко: оценки составили 14,4–14,8 балла из 15. Но выбор инструментов зависел от порядка задачи: в сценарии с несколькими инструментами и несколькими раундами точность была высокой, а при нескольких инструментах в одном раунде — заметно ниже. При этом итоговый показатель оказался на уровне узкоспециализированной модели и намного выше результата базовой системы, которая служила для сравнения.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, а не статья, прошедшая независимую проверку рецензентами. Систему проверяли на открытых тестовых наборах и отложенных примерах, а не на реальных пациентах в клинической работе; кроме того, в сложном режиме с несколькими инструментами за один раунд её выбор был слабее. Поэтому результат показывает перспективность архитектуры, но ещё не доказывает безопасность для медицинских решений.
- Это препринт, поэтому результаты ещё не прошли полноценную независимую проверку.
- Оценка проведена на публичных бенчмарках и охватила семь задач, а не реальную клиническую практику.
- Часть показателей синтеза ответов рассчитана при уже корректных выходах специализированных инструментов.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено