dumaiОшибки в английском усилили предвзятость ответов пяти ИИ
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы искусственно добавляли в английские запросы ошибки, похожие на ошибки неносителей языка, и проверили их влияние на пять открытых ИИ-моделей. Чем больше было ошибок, тем сильнее проявлялись стереотипы; наиболее устойчивый эффект дали ошибки в предлогах. Дополнительное обучение на текстах с ошибками уменьшило этот эффект.
Зачем это знать?
Проверки ИИ только на безошибочном английском могут недооценивать его предвзятость в ответах на запросы с ошибками. Вывод основан на искусственных запросах и тестах, а не на наблюдении за реальным общением.
Разбор
Авторы не собирали новые фразы у людей, а взяли готовые тесты на социальные предубеждения — WinoBias, BBQ и DE-Gen — и по одинаковым правилам испортили их английский. Для каждого запроса можно было отдельно задать тип ошибки, её частоту и место в предложении. Такой подход помогает понять, что именно меняет ответ модели: содержание запроса или сама форма с ошибками.
Пять открытых моделей проверяли на стереотипах и предпочтениях, связанных с полом, расой и религией. Чтобы результат не зависел от случайного порядка вариантов, исследователи меняли местами ответы вроде «плотник» и «домработник», а затем несколько раз спрашивали модель об одном и том же задании. Самый заметный эффект возникал не от любой ошибки: сильнее всего результат меняли ошибки в предлогах, вероятно потому, что они чаще мешают понять смысл фразы. Это указывает на возможный механизм: когда модели труднее разобрать запрос, она сильнее опирается на усвоенные стереотипные ассоциации.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, поэтому независимую рецензию ещё не прошёл. Проверка охватила пять моделей и несколько стандартных тестов, но запросы с ошибками были искусственными, а не взятыми из реального общения; поэтому масштаб эффекта у реальных пользователей может отличаться.
- Работа является препринтом и проверяла пять открытых моделей, поэтому результат нельзя автоматически обобщать на все ИИ-системы.
- Ошибки были искусственно сгенерированы по правилам, а не взяты из реальных текстов пользователей.
- Исследование измеряло поведение моделей в бенчмарках, а не реальные последствия для пользователей.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено