Усиление размышлений в ИИ не делает ответы точнее

Авторы не просто посмотрели, у каких моделей чаще получается правильный ответ, а разобрали сами «следы рассуждений» — то есть короткие цепочки шагов, которыми модель приходит к ответу. Потом они отметили в этих цепочках разные типы поведения: например, когда модель сверяет себя с уже известным знанием, когда явно сомневается или когда пытается исправить собственную ошибку. После этого они сравнили, насколько часто такое поведение встречается рядом с правильными ответами и насколько сильно оно вообще усиливается после обучения на рассуждениях.

Зачем всё это понадобилось: у моделей, обученных «думать вслух», текст ответа часто выглядит более вдумчивым. Но внешний вид рассуждения ещё не значит, что модель стала точнее. Поэтому исследователи ввели свою метрику — Behavioral Lift, она показывает, насколько наличие конкретного поведения связано с правильным ответом. Так можно отличить полезные признаки рассуждения от тех, что просто делают ответ более «человечным» на вид.

Самый важный вывод оказался немного неожиданным. Сильнее всего с правильными ответами связаны калибровка уверенности, согласованность с известными фактами и самосознание модели. Но именно эти признаки почти не усиливаются при reasoning-oriented training — обучении, которое специально делает ставку на рассуждение. Зато такие штуки, как признание неопределенности, растут очень заметно, в 3–7 раз, хотя с точностью они связаны слабо или даже отрицательно. Получается, обучение на рассуждениях действительно меняет стиль мышления модели, но не обязательно двигает её в сторону более надёжных ответов.