dumaiRPG повысила успех робота в симуляции с 28,6% до 95,0%
Препринт, ещё не рецензирован · ранние данные
Кратко
Система RPG сама разбирает ошибки робота, создаёт упражнения в виртуальной среде и сохраняет удачные навыки, не меняя веса модели, но обновляя системную инструкцию и библиотеку навыков. На 22 задачах успех вырос с 28,6% после первого раунда практики до 95,0% после 15 раундов; после общей калибровки и адаптации к оборудованию система успешно прошла все 30 физических испытаний на трёх задачах.
Зачем это знать?
Результат показывает, как улучшения, найденные в виртуальной среде, проверяли на реальном оборудовании. Основная оценка прошла в симуляции, а физическая проверка охватила только 30 испытаний на трёх задачах.
Разбор
RPG не обучает робота заново и не меняет параметры языковой модели. Вместо этого система смотрит на записи неудачных попыток, данные о настоящем состоянии симулятора и видео из готового набора данных. По этим сигналам она пытается понять, где именно сломалось выполнение: например, в восприятии, выборе действия или последовательности движений. Затем она создаёт небольшие переиспользуемые навыки, исправляет старые и переписывает системную инструкцию — текст, который задаёт модели правила работы с роботом.
Важная деталь — система не принимает каждое улучшение на веру. Сначала она проверяет отдельное изменение на других задачах, потом сравнивает объединённую версию с предыдущей и только после этого сохраняет её в общей библиотеке. Такой подход нужен потому, что исправление для одной задачи может случайно испортить другие. Авторы также отдельно проверили, что прирост даёт не только накопление навыков: эксперименты без пересмотра навыков и без проверки изменений между задачами показали важность этих частей метода.
По сравнению с двумя системами-конкурентами RPG показала более высокий результат на тех вариантах задач, которые не использовали для первоначальной практики: ASPIRE достигла 75,5%, а CaP-Agent0 с GPT-6 Astra Pro — 60,0%. После виртуальной практики ту же, уже зафиксированную систему перенесли на физического робота и выполнили общую калибровку и настройку под оборудование. Авторы отмечают и практическое узкое место: каждый раунд требует запусков по всем задачам, а ограничения API мешают делать их параллельно; при расширении набора задач могут конфликтовать изменения общих навыков.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, а не статья, прошедшая независимую журнальную рецензию. Основная проверка прошла в симуляции; на физическом роботе систему испытали всего на трёх задачах и 30 попытках после калибровки, поэтому перенос результата на другие роботы и задачи пока не доказан.
- Это препринт, поэтому результаты ещё не прошли независимую проверку.
- Основная оценка проведена в симуляции; физическая проверка ограничена 30 испытаниями на трёх задачах.
- Результаты получены после общей калибровки и адаптации к оборудованию, а масштабирование ограничивают лимиты API и сложность объединения изменений.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено