Память о прошлых шагах улучшила десятидневный прогноз погоды

Авторы не стали переобучать всю GraphCast: её основные параметры оставили без изменений и добавили небольшую обучаемую ветвь-корректор. Она обменивается данными между точками атмосферной сетки, а специальный блок Mamba хранит внутреннее состояние между последовательными шестичасовыми шагами. Поэтому модель видит не только два последних состояния атмосферы, которыми обычно ограничивается GraphCast, но и след своей предыдущей траектории.

Проверяли идею на семилетнем архиве ERA5. Чтобы понять, важна ли именно память, исследователи сравнили основной вариант с контрольной версией, которую обучали при сбросе памяти, а также проверили, что произойдёт, если сбрасывать память уже во время прогноза. Эти сравнения поддержали вывод: для выбранной настройки польза связана не просто с дополнительным корректором, а с сохранением состояния между шагами. При этом обучать пришлось только новую ветвь, поэтому эксперимент оказался заметно проще, чем полное переобучение большой модели.

Есть и практическая сторона. Память особенно помогает на длинном горизонте, но такой подход усложняет вычисления: последовательные шаги хуже запускаются параллельно, а при обучении полной модели пришлось бы хранить или заново считать промежуточные состояния. Авторы также отмечают, что пока неизвестно, сохранится ли эффект при другом разрешении сетки и с другой базовой моделью; одних усреднённых ошибок недостаточно, чтобы понять, в каких конкретно погодных режимах память наиболее полезна.