Модель для сна лучше справилась с задачами на физиологических сигналах

Авторы взяли не один сигнал, а сразу восемь типов данных о состоянии тела — например, электрическую активность мозга, сердца и дыхание — и собрали их в одну модель. Сначала каждый поток превратили в короткие дискретные «токены» с помощью метода, который сжимает непрерывный сигнал в удобный для обучения вид. Потом модель училась не угадывать пропуски, а предсказывать следующий токен во всех каналах сразу. Идея здесь простая: если система умеет продолжать реальный физиологический сигнал, значит, она должна вытащить из него полезную структуру без ручной разметки.

Это важно потому, что раньше такие модели часто учили двумя другими способами: либо заставляли восстанавливать скрытые куски сигнала, либо сравнивали похожие и непохожие примеры. Но для физиологических данных это не всегда удобно: сигналы шумные, а заранее понять, что именно считать «похожим», трудно. Поэтому авторы проверили более прямой вариант — предсказание следующего фрагмента — и показали, что он действительно работает масштабно, то есть на большой модели и на большом наборе ночных записей сна.

Что получилось на выходе: модель не просто обошла другие foundation-модели в разных тестах, но и в задаче разметки стадий сна почти догнала сильные модели, которые учили с помощью ручных меток. Причём для этого ей понадобилось в 100 раз меньше размеченных примеров. Ещё интереснее, что модель сработала не только на сне: она справилась и с данными днём, например при поиске мерцательной аритмии на ЭКГ. Это намекает, что способ может пригодиться шире, чем одна область медицины.