ИИ управлял роботом без отдельного обучения под каждую задачу

Авторы проверяли не одну узкую демонстрацию, а набор физических задач, где роботу нужно по-разному работать с предметами. Среди них — собрать конструкцию по видео человека, построить фигуру по изображению цели, повернуть игральную кость нужной стороной, бросить предмет в заданную область и сложить полотенце двумя руками. Такой набор важен: он включает точные движения, быстрые действия и работу с мягкими предметами, которые меняют форму.

Обычно робота заранее обучают для конкретной задачи и конкретного рабочего места. Здесь авторы выбрали другой подход: агент получает описание задачи и доступ к интерфейсу робота, а дальше сам связывает рассуждение с действиями. Он использует изображение сцены, пишет небольшую исполняемую программу для нужного шага, отправляет роботу команды движения и смотрит, что получилось в физическом мире. Если результат не совпал с ожиданием, агент меняет дальнейшие действия, а не просто повторяет заранее заданный сценарий.

Такой способ проверили на настоящем роботе, а не только в компьютерной симуляции. В работе отдельно подчёркивается, что одна и та же схема должна переносить планирование и программирование в момент выполнения задачи — туда, где заранее невозможно предусмотреть все столкновения, ошибки захвата и изменения положения предметов. При этом абстракт сообщает точные показатели только для трёх вариантов сборки из блоков; для остальных перечисленных задач численных результатов не приводит.