Откат к прошлым решениям повысил успех роботов на 10,67–11,85 процентного пункта

Обычно модель мира для робота работает как прогнозист: по текущей ситуации и выбранному действию она пытается представить, что произойдёт дальше. Авторы добавили ей возможность «перематывать» эпизод к важному решению и мысленно проверять несколько других вариантов. Затем система сравнивает последствия и пытается понять, какое именно действие помогло или помешало успеху, а не просто помечает весь эпизод как удачный или неудачный.

Это решает практическую проблему обучения в реальном мире: каждый новый эксперимент требует времени, движения робота и иногда участия человека, а неудачные попытки могут изнашивать оборудование. Вместо этого большая часть поиска происходит внутри модели мира. При этом авторы не оставили её полностью оторванной от физики: реальные переходы, которые робот совершает во время обучения, используют для быстрой корректировки модели через LoRA — способ дообучить небольшую часть большой нейросети, не перестраивая её целиком.

Система работает как замкнутый цикл: робот собирает новый опыт, этот опыт уточняет модель мира, а уточнённая модель предлагает более полезные варианты действий. Важная деталь — для оценки действий не понадобилась отдельная модель ценности, которая обычно должна учиться предсказывать, насколько хорошим окажется состояние. Вместо неё система получает более точные подсказки прямо из сравнений альтернативных будущих исходов. Такой подход особенно отличается от прежних методов тем, что направляет вычисления на ключевые моменты, а не одинаково прокручивает весь сценарий вперёд.