dumaiВ линии GPT снижение токсичности не устранило гендерную дискриминацию
Препринт, ещё не рецензирован · ранние данные
Кратко
В препринте сравнили 450 000 ответов 15 моделей одной линии GPT — от GPT-2 до GPT-5 — на запросы о женщинах и мужчинах. В новых моделях стало меньше прямых оскорблений и описаний сексуального насилия, но сохранились различия в темах и образах: ответы о мужчинах чаще включали заботу и эмоции, а три автоматических классификатора не считали такой контент токсичным.
Зачем это знать?
Результат указывает на ограничение проверки ИИ по одному показателю: низкая токсичность ещё не означает отсутствия гендерной дискриминации. Вывод основан на косвенных измерениях и моделях только одной линии GPT, поэтому его нельзя автоматически переносить на другие системы.
Разбор
Авторы не ограничились одним рейтингом «вредности». Они собрали ответы моделей на запросы о разных демографических группах, затем посмотрели, какие темы и медицинские сущности в них появляются, и отдельно сравнили несколько независимых классификаторов. Такой подход нужен потому, что модель может перестать говорить откровенно оскорбительные вещи, но сохранить перекос в выборе сюжетов: например, одной группе приписывать заботу, эмоции и роль союзника, а другой — нет.
Главная находка — вред не всегда исчезает, а может менять форму. В ранних ответах о женщинах чаще встречались кластеры, связанные с сексуальным насилием; к GPT-4 они пропали, однако одновременно ответы о женщинах стали заметно менее разнообразными по темам, чем ответы о мужчинах. Наиболее необычный пример авторы нашли в ответах GPT-5: отдельная группа текстов представляла рак груди как вопрос о правах мужчин, тогда как сопоставимого кластера в ответах о женщинах не было.
Авторы разделяют результаты на две части. Исчезновение тематических кластеров и различия в упоминании сущностей не зависят от того, насколько хорошо настроен конкретный классификатор. А выводы о настроении и репрезентационном вреде зависят от таких инструментов, поэтому исследователи опираются не на один балл, а на расхождение между несколькими способами оценки. На этой основе они предлагают проверять ИИ не только на прямую токсичность, но и на структуру тем и на то, какие социальные роли система связывает с разными группами.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, поэтому его ещё не прошла независимая журнальная экспертиза. Масштаб анализа большой, но выводы относятся только к моделям линии OpenAI GPT и в значительной части опираются на косвенные измерения; они показывают перекосы в текстах, а не напрямую доказывают влияние ответов на людей.
- Это препринт, а не прошедшая рецензирование публикация.
- Ключевые выводы частично зависят от классификаторов и тематического моделирования, которые являются косвенными измерениями скрытого вреда.
- Анализ охватывает модели одной линии GPT; результаты не обязательно распространяются на другие модели.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено