CARDEA достигла уровня кардиологов в оценке сложности случаев на снимках сосудов сердца

CARDEA собрали не как отдельный классификатор для одной задачи, а как единую систему: она получает исходное многокадровое видео коронарографии, выбирает важные кадры и затем делает вывод об исследовании целиком. При этом модель должна показывать пространственные основания решения — рамки на изображении, указывающие на нужные участки сосудов. Такой подход отвечает на главную проблему прежних систем: они могли выдавать стабильный ответ, но врачу было трудно понять, на что именно модель опиралась.

Обучение шло в три этапа. Сначала модель училась связывать изображение с его описанием, затем осваивала цепочку рассуждений через такие выделенные области, а после проходила дополнительную настройку с наградами только за проверяемые действия. Важно, что авторы не обучали её на готовых медицинских отчётах: способность составлять описание поражений проверили отдельно, без дообучения под эту задачу.

На данных, похожих на обучающие, специализированный классификатор оказался сильнее CARDEA в определении того, какая коронарная артерия преобладает в кровоснабжении. Но при смене условий и набора данных разрыв исчез: это показывает, что модель не просто запомнила особенности исходного материала. Ещё один интересный результат — именно этап с проверяемыми наградами улучшил составление отчётов; обычное копирование примеров такого эффекта не дало. При этом авторы сравнивали систему с двумя интервенционными кардиологами, а не только с автоматическими методами.