dumaiGrokipedia сочли менее нейтральной, чем Wikipedia
Препринт, ещё не рецензирован · ранние данные
Кратко
В анализе 1 394 пар статей о членах правительства LLM-судьи сравнили нейтральность Grokipedia и Wikipedia по девяти идеологическим осям. Все четыре оценщика, включая Grok, поставили Grokipedia ниже по нейтральности. При этом обе энциклопедии в среднем описывали политиков скорее благожелательно, но в разные стороны.
Зачем это знать?
Это напоминает, что энциклопедия, созданная языковой моделью, не гарантирует нейтральности; к таким источникам стоит относиться как к материалу со своим уклоном.
Разбор
Авторы не просто сравнили две энциклопедии «на глаз», а взяли 1 394 пары статей про членов правительств и прогнали их через четыре языковые модели-судьи. Каждую статью оценивали по девяти идеологическим осям — то есть смотрели не только на общий тон, но и на то, как текст относится к экономически правым и левым взглядам, социальным вопросам и другим политическим позициям. Так они попытались отделить реальную разницу между энциклопедиями от случайных впечатлений одного оценщика.
Зачем это было нужно? Grokipedia появилась как альтернатива Wikipedia, которую часто упрекают в либеральном уклоне. Но если энциклопедию пишет языковая модель, это ещё не значит, что она станет нейтральнее: модель может просто перенести в тексты другой набор предпочтений. Поэтому исследователи проверяли не только сами статьи, но и то, как разные LLM-судьи реагируют на одну и ту же информацию — ведь судьи тоже могут быть не одинаково строгими.
Что получилось в итоге, выходит за рамки простого «одна лучше, другая хуже». Все четыре оценщика, включая Grok, сочли Grokipedia менее нейтральной, чем Wikipedia. При этом обе площадки в целом описывали политиков скорее положительно, но по-разному распределяли симпатии: Grokipedia чаще благоволила экономически правым и хуже относилась к социально либеральным, а Wikipedia, наоборот, чаще была благосклонна к последним. Ещё одна важная деталь: экономическое левое-правое деление оказалось самым сильным предсказателем нейтральности, но социальные и идентичностные взгляды тоже заметно влияли на оценку — особенно там, где пути двух энциклопедий расходились сильнее.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, то есть статью ещё не прошли независимые рецензенты. Но выборка здесь большая, а сравнение сделано сразу на 1 394 парах статей и с четырьмя судьями, так что у работы есть прочная эмпирическая база. При этом часть оценки всё равно зависит от языковых моделей-судей, а значит, их собственные привычки и смещения тоже могут влиять на результат.
- Это preprint, не прошедший рецензирование.
- Нейтральность оценивали LLM-судьи, а не независимые человеческие эксперты; сами судьи тоже могут быть смещены.
- Выводы относятся к выбранным статьям о членах правительства и не обязательно переносятся на всю энциклопедию.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено