ИИarXiv cs.LG8 июня

120B смесь экспертов обучили на одном восьми-GPU узле, сохраняя состояние при росте

Препринт, ещё не рецензирован · ранние данные

Кратко

Авторы описывают, как поэтапно выросшую смесь экспертов довели до 120 миллиардов параметров на одном восьми-GPU узле. Они упирают на сохранение состояния при каждом расширении и на то, что память для активаций и оптимизатора оставалась управляемой.

Зачем это знать?

Это полезно как инженерный пример того, как совмещать масштаб модели и ограничения по памяти и инфраструктуре. Но из-за формата preprint и слабой доказательной базы это пока скорее отчёт об опыте, чем подтверждённый рецепт.

Разбор

Авторы не просто взяли огромную модель и запустили её на мощном кластере, а собрали её по ступенькам. Сначала обучили маленькую плотную модель-«зародыш», потом превратили её в смесь экспертов, затем ещё раз расширили до более глубокой и более широкой версии, и так дошли до 120 миллиардов параметров. Во всех переходах важен был не только рост размера, но и то, чтобы модель не потеряла уже выученное поведение — именно поэтому они отдельно описывают сохранение состояния при каждом расширении.

Чтобы такой разгон вообще поместился в одну восьми-GPU машину, они использовали несколько инженерных трюков. Один из них — обратимая рекуррентная схема: вместо того чтобы складывать все промежуточные активации в память, модель умеет восстанавливать их на обратном проходе. Это позволяет держать расход памяти почти ровным даже по мере роста модели. Второй трюк касается экспертной части: у огромного числа экспертов хранят не всё состояние оптимизатора, а только для 2.26 миллиарда параметров адаптеров, то есть обучаемых «надстроек»; за счёт этого память под оптимизацию становится примерно в 45 раз меньше, чем если бы её держали для всех активных экспертов.

Ещё один важный результат — модель не просто увеличили ради масштаба, а довели её до рабочего режима на длинном контексте в 8 тысяч токенов и получили итоговую обучающую потерю 1.78 на 120B-уровне. Вдобавок авторы показывают, что часть навыков действительно появилась «по конструкции»: на отложенных проверках видны улучшения в коде и в языках Индийского субконтинента. То есть это не история про одну удачную тренировку, а скорее про воспроизводимый маршрут, как строить всё более крупную модель, не упираясь сразу в память и инфраструктуру.

Ключевые цифры

120 млрд параметровМодель дошла до масштаба, где обычно уже нужны серьёзные вычислительные фермы, а здесь её удалось поднять на одном узле.

8 GPUВсю цепочку обучения запускали на одной машине с восемью видеокартами, а не на большом кластере.

8K контекстМодель умела работать с длинными кусками текста — примерно как если бы она одновременно держала в голове очень длинную страницу.

1.78Итоговая ошибка обучения была достаточно низкой, чтобы показать: модель не просто стала огромной, но и действительно нормально обучилась.

Можно ли доверять

Это preprint на arXiv, то есть статью ещё не проверяли независимые рецензенты. Сильная сторона работы — конкретная инженерная демонстрация на реальной системе и опубликованные код, токенизатор и семейство моделей; слабое место — это в первую очередь отчёт об опыте, а не широкое сравнение с разными подходами или проверка на множестве внешних сценариев.

Preprint on arXiv, so the results are not peer reviewed.
This is primarily a systems and experience report rather than a controlled comparison.
Claims about downstream capabilities are based on held-out losses from the reported checkpoints, not an external benchmark study.

Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено

Источник и детали

ЖурналarXiv (cs.LG)

Дата публикации у нас8 июня 2026 г.

Дата источника5 июня 2026 г.

ОригиналОткрыть

АвторыRohan Shravan