dumaiМодель для роботов выбирает действие и предсказывает результат
Препринт, ещё не рецензирован · ранние данные
Кратко
Magic-W0 учитывает вид сцены, её форму и движение, а также ожидаемый результат действия. В симуляции RoboDojo-Sim она набрала средний балл 27,10 — больше, чем сравниваемые модели; на нескольких задачах с реальными роботами хорошо адаптировалась после дополнительного обучения на небольшом объёме данных.
Зачем это знать?
Для роботов это способ заранее оценивать, к чему приведёт выбранное действие. Численное сравнение есть только для симуляции, а реальные задачи требуют дополнительного обучения под каждую задачу.
Разбор
Авторы попытались решить проблему, из-за которой робот может хорошо угадывать следующий кадр, но всё ещё не понимать, какое действие приведёт к нужному результату. Для этого Magic-W0 разбивает взаимодействие на три части: что робот видит сейчас, как именно меняется сцена из-за движения, и каким станет важный для задачи результат. Например, движение здесь описывается не просто как команда мотору, а как изменение трёхмерной геометрии — формы и положения объектов в пространстве.
Главное отличие от более ранних подходов — тесная связь между выбором действия и прогнозом последствий. Модель перебирает варианты действий, использует их, чтобы предсказать изменение сцены, а затем уточняет сами действия с учётом этого прогноза. Авторы отдельно вмешивались в предполагаемые действия во время работы модели и увидели, что связанные с ними трёхмерные представления меняются систематически, а изменения доходят и до прогноза будущего результата.
До проверки на роботах модель предварительно обучили на разных источниках: видео от первого лица, данных UMI, записях настоящих роботов и симуляциях. Для геометрии, движения и будущего смысла она использовала подсказки от уже обученных зрительных моделей. Такой набор нужен потому, что одной коллекции робототехнических данных обычно недостаточно для обучения общей модели, способной быстро приспосабливаться к новым задачам.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, а не статья, прошедшая независимую проверку рецензентами. Сильный результат получен в симуляции; на настоящих роботах модель проверили на нескольких задачах, но ей всё равно потребовалось дополнительное обучение, а размер этих испытаний в абстракте не указан.
- Это препринт, поэтому результаты ещё не прошли полноценную независимую проверку.
- Главное количественное сравнение приведено для симуляции; в реальных роботах заявлена лишь общая высокая эффективность без конкретных чисел и деталей сравнения.
- Модель требует дообучения под конкретные задачи, поэтому из abstract нельзя сделать вывод о готовности к практическому применению.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено