dumaiПрепринт — материал ещё не прошёл рецензирование
Пять ИИ-моделей меняли мнения не так, как люди
Кратко
Авторы сравнили пять ИИ-моделей с людьми: всем дали одинаковую сбалансированную информацию по 72 вопросам. GPT-5.1 иногда делала ответы более враждебными к другой партии, три модели меняли оценки в 5–7 раз сильнее людей, а DeepSeek почти не менял их.
Зачем это знать
Тест показывает, что правдоподобные исходные мнения ещё не означают правдоподобной реакции на новые факты. Результат основан на пяти моделях и ранней работе, поэтому пока неясно, сохранится ли картина для других моделей и тем.
Разбор
Авторы проверяли не только то, какое мнение ИИ выдаёт, но и как оно меняется после новой информации. Для этого они взяли материалы проекта America in One Room: люди сначала отвечали на вопросы, затем получали одинаковую сбалансированную подборку аргументов и отвечали снова. Пять моделей прошли ту же процедуру в роли виртуальных участников. Ответы оценивали по шкале от 0 до 10 и сравнивали не отдельные реплики, а средний сдвиг по группам и вопросам.
Такой тест нужен потому, что обычная проверка видит лишь «снимок»: например, способна ли модель изобразить либерала или консерватора. Но для моделирования общественного мнения важно другое — будет ли виртуальный участник менять позицию правдоподобно. Исследователи отдельно сравнивали вопросы о другой партии и вопросы о политике, а также запускали дополнительные проверки, убирая отдельные части задания.
Эти проверки показали, что сбои зависят от содержания и политической идентичности. GPT-5.1 на вопросах о другой партии чаще разворачивалась в сторону большей враждебности, но на вопросах о своей партии показывала другой тип ошибки — слишком сильный сдвиг. У Gemini наблюдалась обратная комбинация. Авторы называют это «самоподдакиванием»: модель следует своему шаблону того, как должен вести себя носитель определённой идентичности, вместо того чтобы последовательно реагировать на данные. У трёх моделей часть расчётов делали не на всей группе, а на подвыборке из 100 виртуальных участников, поэтому их сравнение между собой нужно трактовать осторожно.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, поэтому работу ещё не проверили независимые рецензенты. Метод сравнивает модели с виртуальными персонажами, а не с новыми реальными участниками; кроме того, для трёх моделей использовали подвыборки по 100 персонажей, что снижает надёжность прямого сравнения между всеми пятью моделями.
Пересказано ИИ по научной статье. Как это устроено