Модель различает тексты с помощью ChatGPT, но часто ошибается

Авторы не пытались угадать автора по содержанию или искать особые фразы ChatGPT. Они смотрели только на форму текста: насколько разнообразны слова, как часто встречаются существительные, глаголы и прилагательные, а также насколько сильно меняется длина предложений. Всего использовали девять таких измеримых признаков — их можно объяснить человеку, а не спрятать за непонятной логикой модели.

Текст сначала разбивали на перекрывающиеся фрагменты по 250 слов. Несколько алгоритмов машинного обучения учились различать два типа работ, причём тексты одного и того же участника целиком отправляли только в одну группу — на обучение, проверку или финальный тест. Это важно: модель не могла просто запомнить индивидуальный стиль конкретного студента. Затем оценки отдельных фрагментов объединяли в одну оценку для всего текста.

Лучше всего сработал алгоритм «случайный лес» — набор деревьев решений, которые вместе принимают итоговое решение. Его качество составило 0,87 по показателю, отражающему, насколько хорошо метод в целом разделяет два класса, и 0,84 по метрике, которая одновременно учитывает пропуски и ложные тревоги. Дополнительный анализ показал, что на решение заметнее всего влияли словарные и грамматические особенности, а не какой-то один отдельный признак.