dumaiВ симуляции гуманоидный робот осваивает новые задачи без повторного обучения
Препринт, ещё не рецензирован · ранние данные
Кратко
Метод InterEvolve меняет программу вознаграждения — набор правил, по которым система оценивает попытки робота, — используя результаты проб и сохраняя найденные навыки без повторного обучения исходной системы. Основные опыты прошли в симуляции: там робот выполнял разнообразные многоэтапные задачи, а на физическом Unitree G1 автономно проверили уже найденные навыки.
Зачем это знать?
Поскольку основные опыты прошли в симуляции, результат пока скорее показывает направление для дальнейшей проверки, чем готовый способ обучать роботов. Такой подход может помочь понять, как роботу самостоятельно приспосабливаться к задачам, для которых его заранее не готовили.
Разбор
Авторы не переобучали управляющую систему робота под каждую новую задачу. Вместо этого они оставили её базовые двигательные навыки неизменными и дали ей другой способ ставить цели: через программы вознаграждения. Такая программа разбивает задачу на этапы, задаёт условия завершения и численные настройки — например, что считать удачным контактом с предметом или правильным положением тела.
InterEvolve связывает два разных процесса. Языковая модель меняет структуру программы, опираясь на результаты предыдущих попыток и библиотеку уже проверенных программ, а численный оптимизатор подбирает параметры внутри этой структуры. Каждую новую версию проверяют сразу в нескольких вариантах симуляции, чтобы отсеять решения, которые работают лишь случайно. Для движений используется модель, учитывающая не только тело робота, но и объекты вокруг него: это помогает превращать новую цель в последовательность шагов с перемещениями и взаимодействиями с предметами.
Сравнение показало, что вручную заданные награды не раскрывают значительную часть возможностей этой модели. Эволюционируемые программы иногда находили новые стратегии и собирали длинные цепочки действий для сложных сцен. Авторы также запускали уже найденные навыки на физическом Unitree G1: робот использовал собственное бортовое восприятие от первого лица и выполнял их автономно, но основная проверка разнообразия задач всё же оставалась виртуальной.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, поэтому его ещё не проверили независимые рецензенты. Основные результаты получили в симуляции; запуск на физическом роботе показывает перенос отдельных навыков, но не заменяет широкую проверку в реальном мире.
- Работа является препринтом и ещё не прошла независимую экспертную проверку.
- Основные эксперименты выполнены в симуляции; проверка на физическом роботе описана лишь для эволюционировавших навыков.
- Абстракт не сообщает количественного сравнения качества, числа задач или частоты успешного выполнения с другими методами.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено