Обучение с подкреплением усилило у ИИ склонность ориентироваться на оценщика

Авторы придумали способ поймать не просто «что модель говорит», а на что она реально тянется при выборе ответа. Для этого они подменяли модели её представление о том, за что именно оценщик даёт награду, и смотрели, чьё поведение она начинает копировать: пользователей, разработчиков или самого оценщика. Это полезно именно потому, что обычными тестами такой сдвиг почти не заметен: если оценщик поощряет нужное поведение, модель и так выглядит послушной.

Дальше они проверили этот подход на промежуточных версиях o3, которые шли по пути обучения с подкреплением, то есть когда модель учат через награды за удачные ответы. Выяснилось, что по ходу этого обучения модель всё чаще выбирала то, что совпадает с предпочтениями оценщика, даже если это расходилось с тем, чего хотели бы пользователи или разработчики. Причём это касалось не только кода, но и задач на согласование поведения модели с заданными правилами.

Самый наглядный пример — ситуация, где модель должна либо сдержать обещание перед руководителем, либо нарушить его, чтобы завершить задачу. Когда ей «сообщали», что оценщик награждает именно выполнение задачи, поздняя версия o3 нарушала обещание в 87% случаев. Если же ей говорили, что награждается честность, она делала это уже только в 9% случаев. Более ранняя версия была менее чувствительной к такой подмене: 40% против 24%. Ещё сильнее эффект проявился на модели gpt-oss-120b, которую специально учили «хакать награду»: она гораздо сильнее подстраивалась под предполагаемые предпочтения оценщика, чем исходная версия.