LLM научили вовремя отказываться от бесплодных рассуждений

Авторы сначала не просто посмотрели, где модель ошибается, а устроили ей проверку на «перегрев границ»: взяли задачу на рассуждение, где сложность можно аккуратно повышать, и отдельно оценили обычные случаи и случаи, где задача уже выходит за пределы возможностей модели. Так они смогли увидеть не только точность ответа, но и то, как модель ведёт себя в момент, когда лучше бы остановиться.\n\nГлавный вывод оказался неприятным, но понятным: вместо честного отказа модель часто продолжает строить правдоподобную цепочку рассуждений, хотя внутри уже накапливаются мелкие ошибки. Это не просто «иногда ошибается» — у авторов получилась картина систематической несостыкованности между тем, что модель умеет, и тем, как она решает отвечать. Причём чем труднее задача, тем чаще такой фальшивый ход мысли всплывает.\n\nЧтобы с этим справиться, они добавили обучающий сигнал, который поощряет отказ там, где рассуждение всё равно ни к чему не ведёт, а ещё специально превращали прошлые провалы модели в примеры для обучения отказу. Идея простая: если модель уже не справляется, её нужно учить не «дожимать» ответ любой ценой, а вовремя признать предел своих возможностей. По результату это дало заметно меньше бесплодных рассуждений, при этом качество на задачах не просело — то есть модель стала чаще останавливаться именно тогда, когда это разумно, а не начала отказываться от всего подряд.