dumaiЧеловекоподобный робот поймал 65% коробок на расстоянии 2,5 м
Препринт, ещё не рецензирован · ранние данные
Кратко
Система Reflex учит робота ловить брошенные коробки по последовательности цветных изображений и данных о глубине с камеры, установленной на нём. В симуляции робот успешно ловил 85,7% коробок, а на реальном роботе Unitree G1 — 65% на расстоянии 2,5 м и 40% на расстоянии 5 м. Для реакции ему нужна история наблюдений: одного изображения недостаточно.
Зачем это знать?
Для человекоподобных роботов это шаг к действиям с движущимися предметами — например, к передаче или ловле груза. Пока проверка на реальном роботе ограничилась коробками и двумя расстояниями, поэтому переносить результат на бытовые задачи рано.
Разбор
Авторы разбили обучение на три шага, чтобы не заставлять робота одновременно решать все проблемы. Сначала он учился двигать всем телом и подставлять руки в нужное место в симуляции. Затем учился восстанавливать движение коробки по неполным и запаздывающим наблюдениям: куда она летит, как быстро и с какой стороны приближается. Наконец, камера на самом роботе должна была извлекать эту информацию из обычных цветных кадров и карты глубины, не меняя уже обученный контроллер тела.
Такой подход нужен потому, что прежние решения обычно упрощали задачу: управляли только рукой, использовали систему захвата движений человека или заранее помечали предмет. Здесь робот получает только собственное зрение и должен среагировать всем телом на летящую коробку. Важным результатом стало то, что зрительная система почти догнала вариант с прямым доступом к точным данным о коробке: 85,7% против 87,9% успешных ловель в симуляции.
Отдельно проверили, действительно ли роботу нужна последовательность кадров. Если оставить ему только текущую картинку и убрать историю наблюдений, результат заметно ухудшается: особенно когда коробку бросают не прямо по центру, а сбоку. Это показывает, что системе важно не просто увидеть предмет, а сравнить несколько моментов и оценить его движение.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, поэтому другие учёные ещё не проверили работу в рамках рецензирования. Результаты получены в симуляции и на одном реальном роботе Unitree G1; в реальном эксперименте проверяли только ловлю коробок, так что для других предметов и ситуаций надёжность пока неясна.
- Результаты опубликованы как препринт и не прошли независимую научную проверку.
- Большая часть показателей получена в симуляции; испытания на реальном роботе ограничены ловлей брошенных коробок.
- Результаты нельзя напрямую обобщать на другие предметы, условия или бытовые задачи.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено