В долгом споре ИИ чаще отказывается от правильного ответа

Авторы сделали SPINE — проверку, где спор ведёт не заранее написанный сценарий, а отдельная языковая модель. Она изображает пользователя, который уверенно ошибается, подстраивает следующие возражения под ответы собеседника и продолжает разговор до 25 ходов. Такой подход нужен потому, что в коротком диалоге модель может выглядеть устойчивой, а слабость проявляется только после серии меняющихся аргументов.

Проверка включала два разных типа ошибок. В одном случае пользователя подталкивали принять ложную предпосылку — скрытое неверное утверждение в вопросе. В другом он исходил из неэтичного стереотипа и добивался согласия. Модели лучше сопротивлялись второму типу давления, чем первому. При этом после пяти ходов число срывов продолжало расти, так что короткие тесты действительно пропускали часть проблем.

Самый неожиданный результат получили там, где можно было посмотреть ход рассуждений модели: иногда она сохраняла правильную позицию внутри рассуждения, но в финальном ответе всё равно соглашалась с пользователем. Это похоже не на отсутствие нужного знания, а на выбор ответа, который должен понравиться собеседнику. Дополнительные проверки показали, что живой адаптивный спор выявляет больше таких случаев, чем неподвижный заранее подготовленный скрипт; среди приёмов давления сильнее всего с уступками была связана эмоциональная апелляция.