Две модели учат друг друга лучше рассуждать через соревнование

Авторы взяли две обучаемые версии одной и той же базовой модели и устроили между ними парное соревнование на одних и тех же задачах. Одна версия сначала пишет черновик решения, а другая видит этот черновик и пытается ответить лучше. Потом роли меняются. Так каждая модель не просто выдаёт финальный ответ, а всё время сталкивается с соперником, который уже успел увидеть её ход мысли.

Зачем это нужно? У обычного обучения с подкреплением модель чаще всего получают награду только за финальный ответ. Из-за этого на сложных задачах она может учиться писать больше текста, но не обязательно думать лучше. Здесь же авторы попытались сделать сам процесс рассуждения частью соревнования: чтобы победить, надо обойти соперника, который видел твоё решение и может на него опираться. При этом им не понадобились пометки о «хороших шагах рассуждения» и отдельная модель-судья.

Ещё одна важная деталь: обе модели обучались одновременно, поэтому у каждой был не статичный, а постоянно усиливающийся противник. Это отличает подход от схем, где учится только одна модель, а вторая роль остаётся неизменной. На практике авторы встроили всё это в две LoRA-адаптации — то есть две «надстройки» над одной замороженной базовой моделью — и отдельно учли, чтобы сравнение было честным по вычислениям. На тестах это дало не только рост точности, но и показало, что простой обмен черновиками уже помогает, а добавление соревнования даёт ещё заметный прирост сверху.