dumaiДетектор ИИ-текстов лучше распознаёт тексты, не похожие на данные обучения
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы превратили нейросетевой детектор в систему, которая опирается на понятные человеку особенности текста, извлечённые из внутренних сигналов модели. На тестовых наборах она лучше справлялась с текстами, не похожими на исходные данные, чем исходный детектор и системы, оценивающие стиль текста.
Зачем это знать?
Ценность подхода — в возможности разбирать, почему система отнесла текст к сгенерированным; применимость к решениям в образовании, найме и публикациях ещё предстоит проверить.
Разбор
Авторы не пытались вручную придумать список признаков вроде «слишком правильного» стиля. Они заглянули внутрь уже обученного детектора: специальный метод разложил его внутренние сигналы на отдельные, более понятные компоненты. Затем другая модель дала этим компонентам описания — например, указала на определённые слова, знаки препинания или формы списков. В итоговый классификатор попали только те признаки, чьи описания достаточно хорошо соответствовали реальному поведению модели.
Такой подход нужен из-за компромисса: обычные нейросетевые детекторы часто точнее, но трудно понять, почему они вынесли вердикт; простые классификаторы по стилю прозрачнее, но заметно слабее. Проверка показала, что найденные признаки действительно связаны с решением системы: когда признак убирали из текста или изменяли соответствующий фрагмент, оценка детектора менялась в ожидаемую сторону. Особенно хорошо это проявилось на текстах, отличавшихся от тех, на которых систему настраивали.
Среди обнаруженных сигналов были не абстрактные «нейросетевые ощущения», а вполне конкретные особенности: слово «thorough», слово «potential» в определённых позициях, двоеточие после выделенного заголовка Markdown, а также характерные элементы академических рецензий. При этом некоторые признаки чаще встречались в человеческих текстах — например, местоимение «I» в начале предложения и слова «see» или «seem» в академическом контексте. Отдельная проверка с перефразированием, призванным сделать человеческий текст более похожим на машинный, показала устойчивость нового детектора: его решения менялись реже, чем у исходной системы.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, а не статья, прошедшая независимое рецензирование. Проверка проводилась на текстовых наборах, а не на решениях реального приёмного комиссара, редактора или преподавателя, поэтому устойчивость к новым жанрам и намеренным обходам детектора ещё нужно проверять отдельно.
- Это препринт, поэтому результаты ещё не прошли независимую проверку.
- Преимущество показано на тестированных наборах данных и не гарантирует надёжности в реальных решениях об образовании, найме или публикациях.
- Понятность признаков основана на автоматически сгенерированных описаниях и может зависеть от конкретной модели и данных.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено