По одному тексту ИИ иногда узнаёт, кто его написал
Препринт, ещё не рецензирован · ранние данные
Кратко
В тестах модели без доступа к интернету определяли, написал текст человек или ИИ, и пытались назвать автора. Одна модель правильно назвала авторов 39% публичных рецензий и имена пользователей для 69% комментариев активных участников Reddit. Другая для 98% текстов ИИ верно назвала компанию, создавшую ИИ.
Зачем это знать?
Анонимность авторов публичных текстов может оказаться под угрозой, если ИИ уже встречал достаточно их записей при обучении. Насколько хорошо это работает для закрытых текстов и любых авторов, неизвестно.
Разбор
Моделям давали по одному тексту и просили определить его автора. Они не получали список возможных авторов или образцы их письма и не могли искать в интернете. При определении того, написал текст человек или ИИ, новые модели показывали результаты на уровне специально обученных программ и объясняли свои ответы.
Среди рецензий из журнала Nature одна модель верно назвала автора в 78% случаев. Успех зависел от того, насколько часто модель встречала тексты автора во время обучения; по её ответу на вопрос о знакомстве с автором можно было предсказать, узнает ли она его текст.
Ключевые цифры
Можно ли доверять
Исследователи проверяли модели на публичных рецензиях и комментариях активных пользователей Reddit, у которых было больше 500 публикаций за последний год. Сколько именно рецензий и комментариев вошло в проверку, здесь не указано; результаты также не показывают, как модели справятся с закрытыми текстами или авторами, которые мало пишут в интернете.
- Это препринт, а не прошедшая независимую научную проверку публикация.
- Точность зависит от того, насколько много текстов автора попало в обучающие данные модели, и от состава использованных наборов данных.
- Результаты относятся к публичным текстам и не показывают, насколько хорошо метод работает для любых авторов и закрытых текстов.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено