dumaiПрепринт — материал ещё не прошёл рецензирование
ИИ-учителя чаще отказывали и упрощали ответы для маргинализированных учеников
Кратко
В аудите 1 800 ответов четырёх языковых моделей, которые играли роль учителей истории, проверили, как они отвечают разным типам учеников на теме Румынской революции 1989 года. Для низкоуровневых студентов модели чаще давали отказ: такие запросы блокировались в 76,7% случаев. Для рома и малообеспеченных учеников ответы чаще убирали политическую сложность и сильнее смещались к языку о жертвах.
Зачем это знать
Такие ИИ могут не одинаково обращаться с разными учениками и незаметно делать сложные темы менее доступными. Это важно учитывать при использовании их на уроках истории.
Разбор
Авторы не просто посмотрели, что отвечают модели, а устроили им аккуратный аудит через API: отправили 1 800 отдельных запросов четырём языковым моделям, которые должны были вести себя как учителя истории. При этом они подсовывали один и тот же сюжет — Румынскую революцию 1989 года — но меняли «портрет ученика»: кто он по происхождению и насколько у него, условно, есть ресурсы и статус. Так можно увидеть не только качество ответа, но и то, меняется ли поведение ИИ в зависимости от того, кому он якобы отвечает.
Идея была поймать не просто грубый отказ, а более тонкую форму перекоса. Когда модель считает запрос «неудобным», она может либо вообще не отвечать, либо уводить рассказ в более безопасную и простую сторону. В этом исследовании как раз и нашли четыре таких сценария: часть запросов блокировалась, часть теряла политическую сложность, а часть заметно сильнее смещалась в сторону языка про жертв и страдания вместо объяснения политических причин и споров вокруг событий.
Самый показательный момент — разница между учениками из более привилегированных и маргинализированных групп. Для низкоресурсных учеников отказов было больше, а для рома ответы чаще становились менее уверенными и менее подробными по части объяснений. То есть модель не просто «упрощала стиль», а как будто по-разному решала, насколько сложная история вообще доступна разным детям. Авторы называют это эпистемическим патернализмом — по сути, когда система ведёт себя как чрезмерно опекающий взрослый и сама решает, какую версию знаний кому можно показать.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, то есть работу ещё не прошли независимые рецензенты. Но у неё сильная сторона — большой и очень конкретный аудит с тысячами обращений к моделям, а не разговоры «на глаз». При этом проверяли только один исторический сюжет и только на четырёх моделях, так что для всех ИИ и всех предметов выводы переносить нельзя.
Пересказано ИИ по научной статье. Как это устроено