dumaiПрепринт — материал ещё не прошёл рецензирование
Метод быстро подстраивает робота по инструкции и короткому видео
Кратко
Предложен WIZARD — способ генерировать адаптеры LoRA для замороженной робототехнической модели по языковой инструкции и короткому демонстрационному видео. При этом не нужны метки действий для новой задачи и отдельная оптимизация на тесте.
Зачем это знать
Это может упростить адаптацию робототехнических моделей к новым задачам, но пока речь о препринте и проверке на LIBERO и одной реальной роботоплатформе. Поэтому выводы стоит воспринимать как предварительные, без переноса на все сценарии.
Разбор
Обычно, когда робота хотят научить новой задаче, его дообучают заново: показывают примеры, размечают действия и тратят время на настройку. Здесь авторы пошли другим путём — они не меняют саму робототехническую модель, а отдельно генерируют для неё небольшую добавку к весам, которая подстраивает поведение под новую задачу. На вход системе дают только текстовую инструкцию и короткое демонстрационное видео, а дальше она сама предсказывает, какие именно параметры нужны для этой задачи.
Идея в том, что похожие задачи оставляют похожий след не только в поведении робота, но и в пространстве весов — то есть в наборе чисел, из которых состоит модель. Поэтому WIZARD учат сопоставлять признаки задачи с уже известными “хорошими” поправками к модели. Важный момент: на новой задаче не нужны метки действий, то есть не требуется вручную показывать роботу, какие именно команды он должен был бы выполнять, и не нужен отдельный этап оптимизации во время теста.
Проверяли подход на LIBERO — наборе симулированных задач с разными типами сдвига: где-то меняется расположение объектов, где-то сами объекты, где-то цель, а где-то длинная многошаговая последовательность. Ещё авторы протестировали систему на реальном роботе Franka Emika Panda и сравнили её с сильными базовыми вариантами, включая ручную настройку и поиск похожего адаптера из обучающего набора. По результату генерация адаптеров дала не просто рабочий старт, а заметно более сильную специализацию под новую задачу — даже когда задача была из распределения, которого система раньше не видела.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, то есть работу ещё не проверяли независимые рецензенты. С одной стороны, авторы тестировали метод и в симуляции, и на реальном роботе, что добавляет веса результатам. С другой — реальные эксперименты описаны для одной платформы и одного набора задач, так что пока это хороший признак, но не гарантия, что метод так же хорошо сработает во всех робототехнических сценариях.
Пересказано ИИ по научной статье. Как это устроено