dumaiMaxPO снижает разброс градиентов в обучении по pass@K
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы предлагают MaxPO — baseline для policy gradients в задачах max@K и pass@K, который сохраняет несмещённость оценки и делает преимущества в батче точно центрированными. В экспериментах на задачах рассуждения для настройки LLM этот подход уменьшал разброс градиентов и лучше работал, чем нецентрированные варианты и несколько сильных RL-базовых методов.
Зачем это знать?
Это помогает лучше понять, как устроены оценки для обучения моделей на sparse reward в задачах рассуждения. Но работа — препринт, и её результаты пока проверены в ограниченном наборе бенчмарков, поэтому прямой практический вывод для других сценариев делать рано.
Разбор
Авторы разобрали не саму модель, а способ считать обучающий сигнал для неё. Они взяли задачу, где модели важно не просто отвечать правильно в среднем, а повышать шанс хотя бы одного правильного ответа среди нескольких попыток — это особенно полезно в математических и логических задачах, где награда приходит редко и обучение легко «шатает». Вместо того чтобы менять саму идею обучения с подкреплением, они поработали с базовой вычиткой, которая показывает, что считать хорошим или плохим шагом обучения.
Главный ход здесь — baseline, то есть опорная величина, относительно которой измеряют «выигрыш» действия. Авторы построили вариант под названием Leave-Two-Out: для каждого элемента в батче он считает опору, не используя именно эту пару данных, и поэтому не подглядывает в собственный результат. Из-за этого оценка остаётся честной для policy gradient, а преимущества внутри батча становятся точно центрированными — проще говоря, положительные и отрицательные вклады не перекошены в одну сторону. Это важно, потому что у популярных до этого схем сигнал был корректным по смыслу, но сам по себе оставался нецентрированным, а значит мог сильнее шуметь.
Ещё одна полезная часть работы — они вывели каноническую конечнобатчевую формулу для max@K. Это даёт единый взгляд на то, как устроены уже известные оценщики преимущества, которые раньше выглядели как разные методы с разными нормировками и сигналами. В экспериментах на задачах рассуждения такой вариант не только уменьшал разброс градиентов, но и стабильно обгонял нецентрированные альтернативы; то есть обучение шло ровнее и давало более сильный результат на бенчмарках по математическому рассуждению. Кроме того, у метода есть эффективная реализация с квадратичной сложностью по батчу, так что его можно встроить в обычный RL-пайплайн для дообучения LLM без экзотической инфраструктуры.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, то есть работу ещё не прошли внешнюю рецензию. Проверяли метод на моделях и бенчмарках для математического рассуждения, а не на широком наборе реальных задач, поэтому вывод о пользе в других сценариях пока стоит считать предварительным.
- Preprint on arXiv, not peer reviewed.
- Empirical validation is on math reasoning benchmarks with LLM fine-tuning, so generality is limited.
- Claims focus on variance reduction and benchmark performance, not broad downstream utility.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено