Тренировка слабых мест подняла успех роботов до 61–95%

Авторы исходили из простой проблемы: робот часто умеет почти всю длинную последовательность, но снова и снова проваливает один короткий шаг. Вместо того чтобы заново собирать полные примеры выполнения, они оставили базовую модель без изменений и добавили небольшие корректирующие модули для слабых мест. Человек отмечает такие места заранее, а программа сама решает, когда включить поправку и считать, удалось ли локальное действие.

Награда поступает не только за успех всей задачи, а за отдельный фрагмент длительностью несколько секунд. Это важно: при редких полных успехах обычное обучение с подкреплением почти не получает полезного сигнала. Здесь робот чаще видит промежуточный результат и может учиться на удачных попытках даже тогда, когда вся цепочка ещё не складывается. После переобучения модуль снова ставят на робота и собирают новые попытки, постепенно уточняя исправление.

Дополнительные эксперименты показали, где именно выигрывает такой подход. На задаче с кабелем почти вдвое вырос успех вставки всего за 29 минут практики, потому что надёжное отключение кабеля не тратили на обучение. В задаче с наушником успех всей последовательности стал в четыре раза выше исходного, а отдельные операции вставки прибавили 20–35 процентных пунктов. В самой длинной задаче с LEGO исправление закрытия захвата подняло прогресс с 54% до 82% за 17 минут; одни и те же два модуля коррекции использовали для всех десяти деталей. При одинаковом времени работы робота PARTS превзошёл методы, которые обучают всю задачу целиком, более чем на 25%: те тратили часть попыток на действия, которые робот уже выполнял хорошо, и получали слишком мало успешных полных эпизодов.