Один текст для данных пациента оказался не хуже специальных моделей

Авторы взяли довольно простую идею: вместо того чтобы строить отдельные блоки для разных типов данных — например, для заметок врача, давления, анализов и списка болезней — они перевели всё это в один связный текст. Потом они дообучили обычные языковые модели так, чтобы те учились находить связи между кусками этого текста сами, без специальной схемы для «сшивания» разных источников данных.

Зачем это было нужно? Потому что в клинических ИИ-системах такие схемы обычно приходится собирать заново под каждую новую задачу. Это долго, сложно и плохо переносится из одной больницы в другую. Авторы хотели проверить, можно ли обойтись более универсальным способом — и при этом не потерять в качестве прогнозов.

Проверку сделали сразу на трёх очень разных задачах: смерти в стационаре, долгосрочного отторжения трансплантата и сортировки вызовов скорой помощи. Сравнили модели двух типов: одни читают текст целиком и сразу выдают ответ, другие работают как генеративные модели и предсказывают нужный класс по токенам. Важный результат в том, что такой «текстовый» подход не просто держался на уровне специальных мультимодальных моделей, а в некоторых задачах их обходил. Самый заметный пример — прогноз отторжения трансплантата: там новый способ оказался лучше даже клинической модели на основе градиентного бустинга, которую уже используют в практике.

Ещё один полезный нюанс: сильнее всего этот подход выглядел там, где данные шумные и короткие, как в заметках бригады скорой помощи. То есть идея не только про удобство, но и про то, что языковые модели могут неплохо справляться с реальными «грязными» медицинскими записями, если подать им всё в одном формате.