dumaiПрепринт — материал ещё не прошёл рецензирование
Гуманоидный робот проходит загромождённые помещения по языковой инструкции
Кратко
Система TANGO получает обычную языковую инструкцию и изображение с камеры, а затем управляет 29 движениями суставов робота. Её обучили только в виртуальной среде: сначала проверили там, а потом без обучения на реальных данных запустили на роботе Unitree G1, который прошёл сцены с препятствиями.
Зачем это знать
Это показывает, как обучать навигации в загромождённых помещениях без данных о навигации из реального мира. Основная проверка прошла в виртуальной среде, а реальные испытания описаны без численных измерений, поэтому технология пока не готова для бытовых роботов.
Разбор
Обычная навигация часто сводит задачу к прокладыванию линии по карте сверху. Для двуногого робота этого мало: ему нужно одновременно решать, куда поставить руки, как наклонить корпус и как изменить шаг, чтобы не задеть препятствия. TANGO связывает такую координацию с языковой командой и картинкой от камеры, то есть не разбивает задачу на отдельные модули планирования и управления.
Авторы сначала создавали примеры безопасного движения в симуляции. Для этого виртуально прокладывали маршрут, строили движение всего тела, подправляли его с учётом препятствий и затем обучали систему точно отслеживать получившееся движение с помощью обучения с подкреплением — метода, где удачные действия получают условную «награду». Такой конвейер дал модели примеры не только правильного направления, но и физически выполнимых поз.
В симуляции TANGO показала лучший результат среди сравниваемых систем для навигации по изображению и языковой команде, а в сложных сценах обошла модульные подходы, где планирование и управление разделены. Важная деталь — система выдавала команды сразу всему телу, а не только направление движения ног. На реальном роботе авторы наблюдали устойчивое прохождение сцен по языковой инструкции, хотя абстракт не сообщает ни долю успешных проходов, ни число испытаний.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, поэтому работу ещё не проверили рецензенты. Основные количественные выводы получены в симуляции; для реального робота авторы сообщают об устойчивом поведении, но без числа попыток и измеримой доли успеха.
Пересказано ИИ по научной статье. Как это устроено