Шесть ИИ плохо симулировали человеческие обновления убеждений

Авторы взяли реальных людей и ИИ-модели и устроили им один и тот же сценарий: сначала человек или модель фиксирует исходную позицию по теме, потом читает три комментария, а потом снова выбирает, что думает. Так можно увидеть не просто общий «мнения ИИ похожи на человеческие», а именно умеет ли модель сдвигать убеждение так же, как это делает человек после спора или обсуждения.

Самая интересная часть здесь в том, что модели проверяли в двух режимах. В одном им сразу давали настоящую стартовую позицию человека — то есть модель не должна была угадывать начало, а только продолжить его путь. В другом она сама должна была придумать, с чего этот человек «начинал». Оказалось, что некоторые модели неплохо попадают в итоговое распределение ответов, но только в первом режиме. Когда старт надо было сгенерировать самим, качество резко падало.

Ещё авторы посмотрели, где именно ИИ «спотыкается». Все шесть моделей чаще тянули ответы к нейтральной позиции, чем люди. Они также делали больше сдвигов мнения, но каждый такой сдвиг был слабее, чем у людей. И вдобавок модели плохо различали, какие комментарии звучат убедительнее, то есть не могли выстроить их по силе аргумента так же, как это делали участники исследования. Отдельно проверили, помогают ли портреты людей — демография и черты личности — но устойчивого улучшения это не дало.