dumaiЧеловеческие записи улучшили перенос предметов роботом Unitree G1
Препринт, ещё не рецензирован · ранние данные
Кратко
Модель HuGe обучили на более чем 2000 часах записей действий людей и роботов и проверили в виртуальном испытании для человекоподобных роботов. На роботе Unitree G1 добавление адаптированных под его зрение человеческих записей повысило успех в задаче «взять и перенести предмет» по сравнению с обучением только на действиях роботов.
Зачем это знать?
Для человекоподобных роботов это указывает на возможный способ дополнять собственные данные человеческими записями, сбор которых может быть полезен при дорогих роботизированных демонстрациях. Но пока вывод основан на одной задаче и одной модели робота, поэтому его значение ещё предстоит проверить шире.
Разбор
Проблема здесь не только в том, чтобы робот увидел нужный предмет. Человек и робот смотрят на мир по-разному: камера у человека находится в другом месте, а у человека нет измерителей положения суставов, которые есть у робота. Поэтому запись человеческого движения нельзя просто скопировать на робота — сначала нужно понять, как превратить её в подходящие для него команды.
Авторы сделали HuGe — семейство моделей, которые по изображению и описанию задачи предсказывают не отдельные движения суставов, а скрытые «токены движения»: компактные указания для заранее обученного контроллера всего тела. Отдельно модель выдаёт сигналы для управления кистями. Обучение разбили на три шага: сначала модель училась на человеческих и роботизированных видео, затем адаптировалась к человекоподобному роботу, а после дообучалась под конкретную задачу.
Чтобы человеческие записи было легче перенести, авторы во время обучения разыгрывали их в симуляции и таким образом получали искусственные данные о положении суставов робота. На последнем этапе они также перерисовывали руки в кадре так, чтобы они выглядели как руки робота: это уменьшало разницу между тем, что видела человеческая камера, и тем, что видит камера Unitree G1. В симуляционном тесте HumanoidArena такой подход дал лучший результат среди сравниваемых методов, а на реальном роботе добавление визуально адаптированных человеческих записей улучшило выполнение задачи по сравнению с одними роботизированными демонстрациями.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, поэтому его ещё не проверили независимые рецензенты. В пользу результата говорит проверка и в симуляции, и на реальном Unitree G1, но реальный эксперимент ограничен одной моделью робота и одной задачей; абстракт не сообщает размер набора испытаний или точный прирост успеха.
- Это препринт, поэтому результаты еще не прошли полноценную независимую проверку.
- Преимущество в реальном мире показано для одной задачи и на одной модели робота.
- В абстракте не указаны конкретные значения прироста успешности и размер эксперимента.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено