Q-Planning повысил успешность задач робота: с 40% до 90% и с 25% до 80%

Проблема здесь в том, что поведенческое клонирование учит робота повторять удачные человеческие действия. Если робот ошибся сам, такая система не понимает, как использовать этот опыт: неудача не превращается в новый обучающий пример. Полностью дообучать современные модели управления тоже трудно — они содержат миллиарды параметров и требуют много вычислений.

Q-Planning обходит это ограничение, добавляя к уже обученной модели небольшой оценщик ценности действия. Он не пытается заново учить робота движениям, а сравнивает несколько предложенных моделью вариантов и выбирает тот, который выглядит перспективнее. После выполнения действия оценщик получает и удачные, и неудачные попытки, тогда как основная модель остаётся замороженной. Поэтому новые знания накапливаются только в дополнительном модуле, а не во всей системе.

В симуляциях такой подход улучшал не только две задачи из карточки, а все проверенные наборы: например, результат LIBERO-10 вырос с 93% до 99%, а RoboTwin — с 83,8% до 91,4% после десяти циклов. На задачах, где робот и без того часто справлялся, успешные эпизоды стали короче. Для сравнения, обучение только на успешных новых попытках быстро упиралось в потолок: на двух реальных задачах оно остановилось на 55% и 30%. Среди нескольких сопоставленных методов именно Q-Planning устойчиво использовал ошибки без обучения отдельной новой модели действий.