ИИ оставляет устойчивый след при создании текста, но слабый — при правке

Авторы не искали один универсальный «маркер ИИ», а проверили, какие признаки текста работают устойчиво в разных условиях. Они взяли 14 стилометрических признаков — измеримых свойств письма — и обучили простые линейные классификаторы отличать тексты. Затем проверили, сохраняются ли важные признаки, если исключить отдельную модель, отдельную тему или учесть разную длину текстов. Такой подход нужен потому, что детектор может хорошо работать на знакомых примерах, но терять точность на новом авторе или жанре.

Для полностью сгенерированных текстов устойчивое ядро составили два признака. Энтропия здесь показывает, насколько неожиданным бывает выбор следующего слова: у генерации она менялась в характерном направлении. Разнообразие словаря показывает, насколько широко текст использует разные слова. Остальные признаки часто зависели от конкретной темы или системы, поэтому переносить их результаты между условиями рискованно.

С правкой картина оказалась другой. Авторы сравнивали изменённые тексты с исходными человеческими, а не только с полностью сгенерированными примерами. После правки разнообразие словаря росло лишь немного, энтропия двигалась в противоположную сторону, а главным сигналом становилась лексическая плотность — доля содержательных слов среди всех слов. Поэтому отредактированный текст обычно оставался ближе к человеческому оригиналу, хотя по стилю его можно было довольно хорошо отличить от полностью сгенерированного текста.