В симуляциях космический робот адаптировался к поломкам без новой награды

Авторы разделили обучение на два этапа. Сначала агент тренировался в разных симуляциях и учился сжимать поток наблюдений в компактное внутреннее описание мира: что вокруг робота, как его действия меняют ситуацию и какие состояния обычно ведут к успеху. В этот период меняли физические условия — например, трение, свойства деталей, направление гравитации и внешние толчки, — чтобы модель не запомнила один-единственный сценарий.

После «поломки» агенту оставили только один виртуальный экземпляр среды и разрешили наблюдать за тем, как она меняется в ответ на действия. Он не трогал уже выученное описание наблюдений и внутреннюю карту полезности состояний, а подстраивал лишь прогноз движения: например, как теперь повернётся аппарат с повреждённым механизмом. Затем политика — правило выбора действий — тренировалась на траекториях, которые обновлённая модель сама представляла. Такой раздел важен: он показывает, что для адаптации можно использовать сами последствия движений, даже когда внешний мир не даёт надёжной оценки каждого шага.

Проверка охватила три разных сценария: перемещение по планете, навигацию на орбите и точную сборку с завинчиванием. За час адаптации вариант с заранее доступной правильной оценкой почти приблизился к повторному обучению с нуля; вариант без такой оценки тоже быстро возвращал работоспособность, но затем заметно терял качество. Робот без адаптации проваливался, потому что продолжал ожидать прежнюю механику. Это сравнение показывает не только саму возможность восстановления, но и цену отсутствия свежей обратной связи.