Преимущество алгоритма над врачами не подтвердилось

Авторы не ограничились одним алгоритмом и одной формулой «награды» — числом, по которому обучение понимает, что лечение было успешным. Они сравнили пять семейств алгоритмов офлайн-обучения с подкреплением, то есть методов, которые учатся на уже собранных медицинских записях, и 14 вариантов такой награды. Затем проверили результат несколькими независимыми способами: оценивали ожидаемый исход, сравнивали пациентов с похожими исходными данными и отдельно анализировали повторные события.

Главная проблема оказалась не в выборе конкретного алгоритма, а в самих данных. Конечная оценка могла одновременно отражать тяжесть инсульта и эффективность назначенного лечения. Тогда алгоритм получает «кредит» за хороший или плохой прогноз пациента, хотя сам не повлиял на исход. Авторы убрали эту примесь с помощью модели градиентного бустинга — метода, который последовательно уточняет прогноз, — и получили гораздо более слабый сигнал. Проверка исхода через год дала тот же результат: первоначальное преимущество исчезло после очистки оценки.

В общей проверке ни одно из пяти семейств не дало убедительных свидетельств улучшения. Различия между больницами тоже пропали после полной очистки, а различия между группами пациентов по шкале тяжести инсульта авторы предлагают использовать только как идеи для будущих проспективных испытаний — исследований, где лечение заранее задают и наблюдают за пациентами вперёд во времени. В конце они сформулировали чек-лист из шести шагов, который помогает выявлять такие ошибки до того, как результат офлайн-анализа примут за доказательство пользы.