dumaiReal2Gym повысил успех робота на 33,3% против прямого режима GPT-6 Astra
Препринт, ещё не рецензирован · ранние данные
Кратко
Real2Gym превращает видео с действиями людей и роботов в редактируемые компьютерные копии сцен, где можно проверять движения предметов и отрабатывать навыки. На роботе Franka в четырёх задачах система превзошла прямой режим GPT-6 Astra на 33,3%; в компьютерных испытаниях успех был выше на 16,7%, а расход токенов — небольших единиц, из которых складываются команды модели, — на 74,9% ниже.
Зачем это знать?
Робототехника получает способ проверять навыки в компьютерной копии мира и переносить удачные действия на машину. Вывод пока опирается на четыре задачи и одного робота, поэтому его применимость к другим задачам неясна.
Разбор
Авторы не просто загрузили ролики в модель, а собрали из них рабочую компьютерную копию сцены. Система восстанавливает положение предметов и камеры, а затем проверяет действия настоящей физикой: например, может ли объект действительно сдвинуться, схватить его робот или выбранное движение нарушает механику. После этого она создаёт похожие варианты задания и отбрасывает те, где действие заранее невыполнимо.
Внутри такой среды модель пишет код для отдельных этапов манипуляции, запускает его и смотрит, что произошло. Удачные попытки превращаются в инструкции для следующих запусков, а ошибки — в способы восстановиться после неудачи. Важно, что для этого не переобучают саму модель: навыки передаются через описание действий относительно объектов и через общий интерфейс восприятия и управления. Благодаря этому движения можно подстраивать под то, что робот видит прямо сейчас, а затем переносить из симуляции на физическую машину.
Раньше между видео с демонстрацией и исполняемым навыком оставался разрыв: ролик показывает, что сделал человек или робот, но не даёт готовой проверяемой программы. Real2Gym закрывает этот разрыв цепочкой «реальный мир — симуляция — реальный робот» и добавляет проверку физической выполнимости до запуска на дорогом оборудовании. В абстракте отдельно сообщается, что восстановленные симуляции получились высокоточно согласованными с исходными сценами.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, а не статья, прошедшая независимое рецензирование. Проверка на настоящем роботе — сильная сторона, но её масштаб небольшой: использовали одного робота Franka и четыре задачи, поэтому результат может заметно зависеть от конкретных сценариев.
- Это препринт без указанной независимой проверки результатов.
- Результаты на реальном роботе получены лишь для четырёх задач и одной платформы Franka.
- Сравнение приведено с конкретным базовым режимом GPT-6 Astra; из абстракта неясно, насколько выводы обобщаются на другие роботов и задачи.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено