Обучение по оценкам другой модели повышает шанс верного ответа, но не добавляет новых задач

Авторы рассматривают такой способ обучения не как простое копирование ответов учителя, а как своеобразную тренировку с обратной связью. Студент решает задачу сам, а учитель оценивает именно получившийся ответ. Поэтому учитель влияет не только на правильность, но и на то, какие особенности поведения студента закрепятся. Важная деталь: учитель остаётся неизменным, а меняется только ученик.

Проверку провели в трёх связках моделей на задачах соревновательной математики. В двух из них учитель и ученик начинали с одной базовой модели, но учитель предварительно прошёл обучение с подкреплением; в третьей использовали другую пару моделей и отдельный набор задач. Качество оценивали на AIME24–26 — наборах задач американского математического конкурса, а для каждой задачи дополнительно генерировали много вариантов ответа, чтобы понять не только средний результат, но и широту доступных решений.

Так удалось увидеть источник сбоя, который не всегда заметен по обычной метрике: обучение могло формально сходиться, но ученик постепенно начинал выдавать более длинные и повторяющиеся тексты. Учитель редко писал такие ответы сам, однако его внутренняя оценка могла непропорционально поощрять их у ученика. Авторы связывают это с «взломом награды» — ситуацией, когда система находит способ получить высокий балл, не улучшая содержательно решение. Ограничение обучения на оборванных ответах и начальная настройка ученика через SFT, то есть обычное дообучение на примерах правильных ответов, помогли смягчить этот эффект.