Открытый ИИ-автор создал 52% полезных заметок X
Препринт, ещё не рецензирован · ранние данные
Кратко
Community Notes — система, где пользователи добавляют к постам пояснения и оценивают их полезность. Открытый ИИ-автор создал 52% заметок, которые признали полезными и показали широкой аудитории X, а на 60% постов первым предложил заметку, которую не удалили. В 42% постов с полезными заметками были только ИИ-заметки, в 30% — только человеческие; окончательное решение о показе принимают люди.
Зачем это знать?
Community Notes может получать больше пояснений к постам за счёт ИИ, не передавая ему последнее слово: решение о публикации остаётся у человеческих оценщиков.
Разбор
Авторы описали не только сам генератор заметок, но и публичный API, через который ИИ получает посты для работы. В его ленту попадают посты, о которых прямо попросили пользователи, а также публикации из обычных пользовательских потоков X. Поэтому система не сканирует платформу без цели: её работа зависит от того, где людям понадобилось пояснение. ИИ обучают и направляют с помощью оценок сообщества, а отдельные модели помогают выбрать заметки, которые стоит показать оценщикам, и убрать слабые варианты.
Главная проблема — масштабирование Community Notes без передачи ИИ права решать, что увидят пользователи. Авторы показывают, что ИИ добавляет заметки поверх человеческой работы, а не просто заменяет её: люди по-прежнему оценивают предложения и определяют, какие из них получат широкий показ. При этом человеческие авторы остаются особенно важны для быстро меняющихся событий и случаев, где требуется тонкое понимание контекста.
Есть и практическая сторона: система старается экономить внимание добровольцев. Оценщикам в первую очередь показывают заметки, которые с большей вероятностью окажутся полезными и дойдут до широкой аудитории. По данным авторов, после добавления ИИ число полезных заметок, опубликованных для широкой аудитории, выросло на 86,0%. Сам Community Writer выпущен с открытым исходным кодом по лицензии Apache 2.0, поэтому его устройство можно изучать и использовать в рамках условий этой лицензии.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, а не статья, прошедшая рецензирование. Данные взяты из работы системы на X, но сравнение разных способов ИИ-генерации ограничено: авторы не уравнивали размер лент и операционные затраты разных авторов, поэтому преимущество Community Writer нельзя считать полностью независимой проверкой.
- Это препринт, а приведённые показатели описывают работу системы на платформе X, а не независимое контролируемое исследование.
- Сравнение разных AI-авторов ограничено: не контролировались различия в стоимости работы и размере потоков постов, а авторы могли менять поведение со временем.
- Результаты показывают вклад системы в Community Notes, но сами по себе не доказывают, что AI-заметки точнее или лучше человеческих.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено