Для медицинских ИИ нет одного лучшего способа исправлять ошибки

Авторы не просто сравнили несколько способов «починить» ошибку в медицинской модели, а устроили ей стресс‑тест. Они собрали набор клинически похожих вопросов и проверили, что будет, если менять не только сам факт редактирования, но и условия вокруг него: другое изображение, другой текст, смену модальности и протокола, сочетание нескольких медицинских фактов в одном случае и даже последовательные исправления одно за другим. Это важно, потому что в медицине ошибка редко живёт в вакууме: один и тот же вывод должен оставаться верным, когда картина пациента выглядит чуть иначе.

Дальше они прогнали через этот тест четыре типичных способа редактирования и шесть моделей — и увидели, что универсального победителя нет. Методы на основе градиента, то есть когда модель подстраивают через вычисленные поправки к весам, хорошо переносят исправление на похожие случаи, но часто задевают лишнее: модель начинает ошибаться в том, что уже умела делать правильно. Методы на основе памяти, наоборот, лучше берегут старые знания, но хуже справляются с более сложными клиническими комбинациями и сильно зависят от того, на какой именно модели их используют и как настраивают.

Ещё один любопытный вывод: авторы связывают эти провалы не только с самими алгоритмами, но и с тем, как устроено внутреннее пространство модели — грубо говоря, с «картой», по которой она хранит и связывает знания. Разные способы редактирования по-разному сдвигают эту карту, и отсюда появляются либо лишние побочные эффекты, либо слабое обобщение. Поэтому M3Bench показывает не просто кто лучше в таблице, а где у медицинских ИИ ломается логика после точечной правки.