Клинический ИИ иногда приписывает доказательства не тому препарату

Авторы не просто посмотрели, «ошибается ли ИИ», а разложили проблему на две части: умеет ли модель найти подходящее доказательство и к тому ли препарату она это доказательство приписывает. Для этого они собрали контролируемый набор клинических задач, где меняли и то, что подсовывают системе про нужный препарат, и то, что лежит в документах про похожий, но другой препарат. Такой дизайн позволил поймать не только грубые выдумки, но и более хитрую ошибку: когда ответ выглядит аккуратным, с реальной ссылкой и без явной фантазии, но доказательство на самом деле относится не к тому лекарству.

Зачем это было нужно: обычные автоматические проверки в таких системах ищут галлюцинации — то есть выдуманные факты, — и сверяют, что текст в целом опирается на найденные документы. Но этого мало, если система перепутала, о каком препарате идёт речь. В клинике это особенно опасно: ответ может выглядеть убедительно и всё равно вводить врача в заблуждение.

В результате на тестовом наборе ошибка такого «не туда прикреплённого» доказательства доходила до очень высоких значений — особенно когда условия специально делали запутанными. Ещё важнее, что даже модели, дообученные под медицину и биомедицину, не стали надёжнее: наоборот, они часто ошибались ещё чаще. Авторы отдельно проверили, что проблема не сводится просто к слабому качеству поиска: когда из найденных документов убирали именно клинические сведения, связанные с конкретным препаратом, ошибка приписывания пропадала, а система начинала ошибаться уже другим способом — просто додумывала факты.

На практической системе с 740 парами «препарат–болезнь» они увидели ту же картину в реальном использовании: ошибка встречалась заметно реже, чем в жёстком тесте, но всё равно не исчезала, а у недавно одобренных препаратов всплывала чаще. Это показывает, что проблема живёт не только в лаборатории, а может проявляться и там, где такие ИИ-системы реально помогают искать медицинские доказательства.