dumaiС текстовой памятью робот находил предмет в 61,1% случаев вместо 11,1%
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы объединили в одной системе видео, команды и действия робота, а её собственный текст использовали как краткую память о предыдущих шагах. В реальной задаче поиска предмета успех вырос с 11,1% до 61,1%; результаты также улучшились на отдельных симуляциях и других робототехнических задачах, но вклад каждого изменения отдельно не проверяли.
Зачем это знать?
Для роботов это возможный способ учитывать уже полученный опыт при выполнении многошаговых задач без отдельной системы планирования. Пока результаты относятся к отдельным симуляциям и небольшому числу задач, поэтому неизвестно, насколько подход перенесётся на других роботов и в другие условия.
Разбор
Авторы собрали видео с камеры, команды и движения робота в одну модель. Она одновременно предсказывает, что делать дальше, какую подзадачу выполняет и какой короткий текст стоит сохранить. На следующем шаге робот снова подаёт этот текст модели — так воспоминание не лежит во внешней базе, а проходит через тот же механизм, что и управление. Для надёжности движений добавили отдельный приём обучения: модель специально учится исправлять слегка испорченные траектории, чтобы не сбиваться из-за ошибки в одном шаге.
Такой подход отличается от более привычной схемы, где одна модель отвечает за зрение и действия, а другая отдельно рассуждает или строит план. Здесь нет отдельной стадии планирования: видео, язык и движения обрабатываются вместе и уточняются одновременно. Авторы проверили систему на пяти симуляционных задачах, на наборе задач с зависимостью от памяти и на трёх реальных ловких действиях робота. В симуляции Pick & Place новый подход обошёл базовую систему FastWAM на 14,8 процентного пункта, а на задачах RMBench с памятью получил 34,5% без заранее обученной языковой или reasoning-модели. В одном из показательных экспериментов предметы специально перемещали во время выполнения: роботу приходилось обновлять текстовое воспоминание, а не полагаться на первоначальный план. При этом в RMBench модель использовала один опорный кадр и всё равно превзошла вариант Mem-0, которому разрешили визуальные ключевые кадры.
Главное ограничение подхода видно уже из конструкции эксперимента: текстовая память должна быть достаточно точной, иначе ошибка, которую модель сама записала, попадёт на следующий шаг и может повести робота не туда. Кроме того, авторы не отделяли вклад генерации языка от вклада остальных изменений — общего представления и нового обучения траекторий. Поэтому по этим результатам нельзя точно сказать, что именно дало наибольшую часть улучшения.
Ключевые цифры
Можно ли доверять
Это препринт arXiv, поэтому другие учёные ещё не проверили работу рецензированием. Авторы испытали модель и в симуляциях, и на трёх реальных задачах, но абстракт не сообщает точный размер серии реальных испытаний; кроме того, вклад отдельных компонентов системы отдельно не измеряли.
- This is a preprint, so the results have not necessarily undergone peer review.
- The gains are reported on specific simulated benchmarks and a small set of robot tasks; the abstract does not establish how well the method generalizes to other robots or environments.
- The comparison includes several changes beyond language memory, including the FMC training objective and other model or training modifications, so the contribution of each component is not isolated by these results.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено