dumaiЯзыковые модели чаще выбирают американский английский по умолчанию
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы сопоставили 1813 пар американских и британских вариантов английского при изучении данных и работе моделей. Американский вариант преобладал во всех шести наборах данных для первоначального обучения и в 21 наборе для дальнейшего обучения; запрос на британский английский сдвигал ответ в его сторону, но не всегда устранял американский вариант.
Зачем это знать?
Нейтральный ответ модели может отражать американскую языковую норму, а не быть нейтральным между вариантами английского. Сравнение относится только к американскому и британскому вариантам и само по себе не доказывает масштаб вреда для пользователей.
Разбор
Авторы разбирали не только готовые ответы моделей, а весь путь их создания. Сначала они собрали 1 813 пар слов и выражений: американский вариант сопоставили с британским. Затем проверили, как эти варианты представлены в наборах данных для первоначального обучения и дообучения, как их разбивает на части токенизатор — инструмент, который превращает текст в элементы для обработки, — и насколько легко модели предсказывать каждый вариант. В конце сравнили уже сгенерированный текст при разных запросах, темах, источниках и стилях речи.
Такой подход нужен потому, что перекос может возникнуть задолго до момента ответа: например, американские формы могут чаще встречаться в обучающих материалах или занимать меньше элементов токенизации. Авторы объединили эти уровни в один анализ и использовали британский английский как контролируемую точку сравнения, чтобы отделить общую языковую способность модели от предпочтения конкретной нормы.
На уровне обработки текста американские варианты обычно кодировались компактнее и требовали от модели меньших затрат на предсказание. При нейтральном запросе модель чаще оставалась в американской норме, причём это наблюдалось для моделей из разных стран разработчиков и в разных типах текстов. Запрос с явной просьбой использовать британский английский менял направление ответа, но результат зависел от конкретного случая: американская форма не всегда исчезала полностью.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, а не статья, прошедшая независимое рецензирование, поэтому выводы ещё должны проверить другие исследователи. При этом авторы сравнили много языковых форм и несколько этапов создания моделей, но абстракт не показывает, как часто такое предпочтение меняет ответы в реальных образовательных или рабочих ситуациях.
- Это препринт, поэтому результаты ещё не прошли полноценную независимую рецензию.
- Сравнение ограничено американским и британским вариантами английского и не показывает напрямую, как ведут себя модели с другими вариантами языка.
- Наличие предпочтения американского английского само по себе не доказывает конкретный масштаб вреда для пользователей или глобального неравенства.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено