dumaiПрепринт — материал ещё не прошёл рецензирование
Симуляция обогнала телоуправление в обучении гуманоидного робота
Кратко
Авторы обучили политику для задач ходьбы и манипуляции на данных, собранных в симуляции OASIS, и проверили её на реальном гуманоидном роботе. В zero-shot режиме она чаще справлялась с задачами лучше, чем политика, обученная на телоуправлении на реальном роботе.
Зачем это знать
Это намекает, что хорошо разнообразенная симуляция может частично заменить дорогой сбор реальных демонстраций для таких роботов. Но результат пока основан на препринте и на конкретной роботизированной платформе, поэтому его нельзя без оговорок переносить на другие системы.
Разбор
Авторы пошли не по самому очевидному пути — не стали собирать все данные руками на настоящем роботе, а сначала построили для него учебный мир в симуляции. Сначала они автоматически восстановили реалистичные объекты по обычным фотографиям с помощью 3D‑генеративной модели, то есть модели, которая умеет воссоздавать объёмные формы по изображению. Потом уже в этой виртуальной среде с помощью телоуправления собрали движения робота, а затем дополнительно «размножили» эти траектории, меняя освещение и окружение, чтобы робот видел больше вариантов одной и той же сцены.
Зачем всё это было нужно? Потому что для гуманоидов — роботов, которые двигаются как человек и при этом ещё что-то берут и переносят, — есть неприятная развилка: либо траектории получаются качественными, но их очень трудно и долго собирать в реальности, либо данных можно нагенерировать много, но они хуже подходят под настоящий мир. Симуляция должна была снять эту проблему: дать много данных без дорогой физической работы и при этом сохранить правдоподобие движений и объектов.
Дальше авторы не ограничились только сбором данных, а на их основе построили иерархическую зрительно-моторную политику — проще говоря, систему, которая сначала «понимает» сцену по картинке, а потом решает, как двигать робота. Самое интересное в результатах — когда эту политику сразу запустили на настоящем гуманоиде без дополнительной подгонки, она чаще побеждала модель, обученную на демонстрациях, собранных прямо на реальном роботе. Особенно полезными оказались широкие вариации света и обстановки, которые симуляция смогла дать, а реальный сбор данных обычно пропускает.
Можно ли доверять
Это препринт на arXiv, то есть статью ещё не прошли внешнее рецензирование. Проверка была на реальном гуманоидном роботе, что делает результат гораздо убедительнее, чем чистая симуляция, но в абстракте не указаны размер набора задач и число повторов, так что масштаб эксперимента оценить трудно. Пока это хороший знак, но переносить вывод на другие роботные платформы стоит осторожно.
Пересказано ИИ по научной статье. Как это устроено