Чат-боты чаще выбирают варианты, связанные с британскими и американскими привычками

Кратко

Шесть языковых моделей проверили на 304 заданиях, где нужно было выбрать один вариант повседневного предпочтения, связанного с одной из 12 культур. Великобритания и США вместе получили около 35% всех выборов; культурные подсказки почти не меняли результат, а настройка подсказок под культуру иногда усиливала разрыв.

Зачем это знать

Результат предупреждает о риске перекоса в глобальных чат-ботах: они могут по умолчанию чаще предлагать варианты, связанные с привычками двух культур. Пока это вывод специально созданного теста, а не всех реальных диалогов, поэтому он не доказывает конкретный вред пользователям или продуктам.

Разбор

Авторы хотели отделить две вещи, которые обычно смешивают: собственное предпочтение модели и её способность подстроиться под заданный культурный контекст. Для этого они сделали DiSCo — тест, где у каждого вопроса несколько ответов считаются культурно уместными, поэтому модель не получают балл за один «правильный» вариант. Сначала ей не давали никаких подсказок, затем постепенно добавляли сведения о месте и инструкции выбрать то, что подходит местным жителям. Порядок вариантов тоже меняли, чтобы случайно стоящий первым ответ не выглядел фаворитом.

Ключевые цифры

150 816 строкАвторы собрали большой исходный набор данных, чтобы из него отобрать и проверить культурно нейтральные задания, а не опираться на несколько примеров.

0,43–0,57При подсказке о культуре модели следовали нужному культурному направлению заметно чаще случайного выбора, но результат сильно различался между культурами.

0,34–0,50Даже после более явных инструкций у моделей сохранялась заметная инерция исходных предпочтений — они не полностью переключались на заданную культуру.

≤ 0,018Добавление отдельных культурных фактов почти не меняло общее распределение ответов: такие факты сами по себе не смогли заметно перенастроить выбор моделей.

Можно ли доверять

Это препринт на arXiv, поэтому работу ещё не проверили независимые рецензенты. Тест охватывает шесть языковых моделей и специально составленный набор заданий, а не реальные разговоры с пользователями; кроме того, в предоставленном фрагменте нет сведений о том, насколько результаты сохраняются для других моделей и культур.

Пересказано ИИ по научной статье. Как это устроено

Источник и детали

ЖурналarXiv (cs.AI)

Дата публикации у нас10 сентября 2026 г.

Дата источника9 сентября 2026 г.

ОригиналОткрыть

АвторыBhuvan Arora, Devesh Saraogi, Sravya Varada, Dhruv Kumar