Робот справлялся с реальными задачами после тренировок только в симуляции

Препринт, ещё не рецензирован · ранние данные

Кратко

Подход ZAP взял готовую модель, которая понимает изображения и текст, и обучил её управлять роботом на простых виртуальных задачах — без данных с настоящих роботов. В заявленных испытаниях она успешно выполнила 96,7% реальных задач, работала втрое быстрее и стоила в 17 раз дешевле сравниваемой модели, а также справлялась с новыми предметами, командами и другим типом робота.

Зачем это знать?

Для разработчиков роботов это ранний признак, что виртуальные тренировки могут переносить управление на реальные задачи и новые конструкции. Результат относится к конкретным условиям испытаний, поэтому о надёжности в бытовых сценариях говорить рано.

Разбор

Авторы разделили задачу на две части: понять сцену и выбрать действие. Для этого они взяли готовую модель, уже обученную работать с изображениями и текстом, и подключили к ней набор инструментов. Модель получает фотографии с камер, маски и номера объектов, их положение в пространстве и сведения о том, как робот выполнил предыдущую команду. В ответ она выдаёт понятные контроллеру команды вроде перемещения захвата в заданную точку.

Движения модель учила не на записях работы настоящих роботов, а в симуляции. Сначала авторы дообучили её на удачных примерах, затем применили обучение с подкреплением: за правильные промежуточные шаги робот получал вознаграждение, а за неудачные — нет. Такой подход нужен потому, что собирать и размечать реальные демонстрации для каждого нового робота дорого, а в виртуальной среде можно быстро создавать дополнительные задачи.

Интересный результат — перенос не ограничился привычным сценарием «взять предмет и положить его». В тестах модель смогла посадить пробирку в нужное отверстие стойки и выбрать другое отверстие по новой команде, передать пробирку из одной руки в другую в воздухе, нарисовать крестик на поле для крестиков-ноликов и поставить мат в шахматной сцене. Эти действия не встречались в обучающих задачах. На другом роботе — одноруком Franka — модель набрала 55,9% на наборе RoboLab-120, то есть перенос с двухрукого робота оказался неполным, но всё же превзошёл указанный авторами базовый метод.

Ключевые цифры

27 млрд параметровСтолько элементов было в исходной модели, которая уже умела связывать изображения с текстом и помогла системе понимать сцену.

40 простых задачИменно на таком наборе виртуальных задач модель училась движениям, а не на демонстрациях настоящего робота.

55,9%Такую долю задач система выполнила на новом для неё одноруком роботе Franka — заметно ниже результата на основном стенде, но это показывает частичный перенос навыка.

4,9 процентного пунктаНа тесте RoboLab-120 результат ZAP оказался выше, чем у сравниваемого базового метода для роботов.

Можно ли доверять

Это препринт с arXiv, поэтому независимая проверка рецензентами ещё впереди. Авторы проверяли систему на конкретном наборе роботов и задач; особенно показателен результат на новом роботе, где она выполнила лишь 55,9% заданий, так что надёжность в более разнообразной обстановке пока не установлена.

Это препринт, поэтому результаты ещё не прошли независимую проверку.
Заявленные показатели получены в конкретном интерфейсе и наборе задач; они не показывают, что метод надёжно работает для роботов или бытовых сценариев в целом.
Сравнение с другими моделями зависит от выбранного стенда, настроек и условий испытаний.

Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено

Источник и детали

ЖурналarXiv (cs.AI)

Дата публикации у нас27 октября 2026 г.

Дата источника26 октября 2026 г.

ОригиналОткрыть

АвторыBenjamin Pikus, Daniel Saunders, Mircea Mironenco, Salman Mohammadi, Mathew Mathew, Sirou Zhu, Divya Makkar, Xuhua Huang, Qinbo Li, Supreeth Narasimhaswamy