dumaiПрепринт — материал ещё не прошёл рецензирование
Язык запроса меняет политические ответы чат-ботов о войне
Кратко
Авторы задали GPT, Claude и Gemini 20 вопросов о войне в Украине на 112 языках и собрали 67 200 ответов. Доля ответов, склоняющихся к России или Украине, различалась между языками; при сопоставлении с данными по странам этот рисунок напоминал различия во взглядах людей, голосовании в ООН и помощи Украине. Это связь, а не доказательство того, что информационная война стала причиной ответов.
Зачем это знать
Люди всё чаще обращаются к чат-ботам за новостями и объяснениями событий, поэтому язык запроса может влиять на их политические ответы. Но этот препринт не доказывает, что информационная война вызвала такие различия.
Разбор
Авторы проверяли не один ответ чат-бота, а целый набор оценок: трём системам предложили двадцать утверждений о войне и повторили эти запросы на разных языках. Затем они сравнили, как часто ответы склонялись в сторону России или Украины, и связали языки с официальными языками стран. Такой подход помогает отделить случайную формулировку от устойчивого различия между языковыми версиями запроса.
Важная деталь: один и тот же чат-бот мог оценивать вопрос по-разному в зависимости от языка. Получившийся рисунок оказался похож на другие международные различия — общественное отношение к России, голосование стран в ООН и объём помощи Украине. Это не значит, что бот «знает позицию страны» или намеренно выбирает её сторону: авторы видят совпадение между языковыми ответами и внешними политическими данными.
Результат сохранялся и после того, как исследователи по очереди убирали пары отдельных утверждений. Кроме того, похожая картина появилась у GPT, Claude и Gemini, а не только у одной модели. Авторы предполагают возможное объяснение: материалы на разных языках могли по-разному отражать информационную борьбу, а затем эти перекосы могли попасть в тексты, на которых обучали модели. Но сама работа проверяет связь между языком и ответом, а не весь такой причинный путь.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, поэтому другие учёные ещё не проверили работу рецензированием. Масштаб сравнения большой, но данные показывают наблюдаемую связь: ответы моделей сопоставляли с политическими показателями стран, а не проводили эксперимент, который мог бы доказать влияние информационной войны или установить причину различий.
Пересказано ИИ по научной статье. Как это устроено