Детектор принял человеческий текст за машинный в 76,3% случаев

Препринт, ещё не рецензирован · ранние данные

Кратко

Авторы проверили систему на 10 000 текстов и 300 специально созданных примерах. Когда машинный текст пытались сделать более похожим на человеческий, система обнаруживала его легче; отдельный способ проверки после перефразирования и замены символов показал слабый результат — не лучше случайного распознавания.

Зачем это знать?

Для систем проверки авторства это означает, что высокая точность на готовых тестах ещё не доказывает распознавание происхождения текста: система может реагировать на его стиль и сложность. Вывод пока относится к одному детектору и конкретным наборам текстов.

Разбор

Авторы не просто посчитали, сколько раз детектор угадал ответ. Они по очереди меняли тексты на трёх уровнях: смысл, структуру предложений и отдельные элементы, которые использует программа для разбора слов. Так они проверяли, держится ли решение на признаках происхождения текста или на более поверхностных свойствах — например, на сложности и разнообразии языка.

Отдельно Mistral-7B-Instruct попросили переписать машинный текст так, чтобы он звучал естественнее. Неожиданно после этого разнообразие глаголов выросло с 0,77 до 0,92, а обнаруживать текст стало проще. Это похоже на ситуацию, когда попытка «очеловечить» текст делает его более сложным и тем самым выдаёт его детектору.

Авторы также проверили другой подход: вместо готовых признаков текста он отслеживает последовательность событий в скрытом пространстве модели — внутреннем представлении, где программа группирует похожие смыслы. Перефразирование изменило почти все такие последовательности, а замена похожих символов — большую часть выделенных глаголов. Даже когда программа всё ещё могла извлечь эти элементы, её качество оставалось лишь немного выше случайного выбора. В итоге устойчивость RoBERTa оказалась связана не с абстрактным «пониманием» авторства, а с конкретными признаками, на которые она смотрит.

Ключевые цифры

0,77 → 0,92После попытки сделать машинный текст более человеческим разнообразие глаголов заметно выросло — и именно это, по-видимому, помогло детектору его распознать.

87%Перефразирование изменило почти девять из десяти последовательностей событий в альтернативном методе проверки, поэтому его внутренние признаки оказались нестабильными.

Jaccard = 0,067После перефразирования совпадение между исходными и изменёнными последовательностями было очень небольшим.

AUC = 0,577Лучший результат альтернативного метода оказался лишь немного выше случайного распознавания, где ориентир — 0,5.

Можно ли доверять

Это препринт с arXiv, а не статья, прошедшая независимое рецензирование. Кроме того, проверяли один детектор на конкретных наборах текстов и контролируемых генерациях, поэтому результат показывает уязвимость этого подхода, но не описывает все современные системы проверки авторства.

Это препринт без указанной экспертной оценки.
Выводы основаны на одном детекторе RoBERTa, конкретных моделях и наборах данных; они не обязательно распространяются на все детекторы.
Результаты альтернативного метода зависят от выбранных преобразований текста и домена.

Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено

Источник и детали

ЖурналarXiv (cs.CL)

Дата публикации у нас6 октября 2026 г.

Дата источника2 октября 2026 г.

ОригиналОткрыть

АвторыClaudiu Creanga, Liviu Dinu