GE-Act 2.0: больше данных улучшили перенос навыков роботов на новые сцены

Кратко

Авторы обучили ИИ для управления роботами с нуля и проверили его на 100 задачах без дополнительного обучения под каждую задачу. При росте обучающих данных с 300 до 30 000 часов успешность выросла с 17,1% до 44,1% у одного робота и с 13,4% до 31,1% у другого; указания об объектах, цвете, форме и положении система учла как минимум в 90% испытаний.

Зачем это знать

Такой подход может помочь роботам переносить освоенные навыки на новые сцены и предметы без отдельной настройки. Пока это проверили только на ограниченном наборе из 100 задач, поэтому перенос на другие машины и бытовые условия не показан.

Разбор

Авторы собрали систему из трёх частей и обучили все её основные компоненты с нуля, а не взяли готовый генератор видео. Одна часть сжимает изображение, стараясь не потерять детали, важные для действия и команды. Вторая за один шаг представляет, каким станет зрение робота после действия, а третья по этому будущему состоянию восстанавливает нужное движение. Такой подход позволяет отдельно использовать видео без записанных действий и данные, где действие известно, а потом объединять их в одну систему.

Главная трудность — обучающие данные могут противоречить друг другу: похожее движение не всегда приводит к одному и тому же результату, а модель иногда «предсказывает» будущее, несовместимое с реальным действием. Для этого авторы добавили правило KASO: при совместном обучении система оставляет только те предсказания будущего, которые согласуются с записанным поведением. Так уменьшается число ошибочных примеров, на которых модель могла бы научиться неправильной связи между сценой и движением.

Проверку провели на новых сценах, фонах, условиях освещения и экземплярах предметов — без дообучения отдельно под каждую задачу. Улучшения появились в 19 из 20 групп навыков у одного робота и в 18 из 20 у другого. Особенно примечательно, что робот G2-90D получил прибавку в 17,7 процентного пункта, хотя на него приходилось меньше 2% совместных обучающих данных: это указывает на возможность переноса навыков между разными конструкциями роботов. Чем лучше конкретный навык был представлен в обучающих данных, тем выше оказывалась успешность на незнакомых сценах; связь была сильной. Система также выполняла прямые команды даже тогда, когда они противоречили уже начатому поведению или привычной для сцены ассоциации.

Ключевые цифры

19 из 20У первого робота улучшения охватили почти все проверенные группы навыков, а не только несколько удачных типов действий.

18 из 20У второго робота результат тоже улучшился в большинстве групп навыков, несмотря на заметно меньший объём данных именно для него.

17,7 процентного пунктаНастолько выросла успешность второго робота благодаря обучению на данных, где его собственных примеров было очень мало.

менее 2%На долю второго робота приходилась лишь крошечная часть совместных обучающих данных, но он всё равно заметно выиграл от общего обучения.

Можно ли доверять

Это препринт с arXiv, поэтому его ещё не проверили независимые рецензенты. Проверка выглядит содержательной: авторы использовали новые сцены и предметы и не дообучали систему под отдельные задачи, но эксперимент всё равно ограничен двумя роботами и 100 задачами; перенос на бытовые условия пока не подтверждён.

Пересказано ИИ по научной статье. Как это устроено

Источник и детали

ЖурналarXiv (via Hugging Face)

Дата публикации у нас9 сентября 2026 г.

Дата источника3 сентября 2026 г.

ОригиналОткрыть

АвторыAgiBot Research Team, Renhang Liu, Wenzhi Zhao, Zhuo Yang, Liliang Chen, Pengfei Zhou, Shengcong Chen, Guanghui Ren, Youlun Peng, Rongjun Jin