dumaiПроверка текстов ИИ резко слабеет после выхода новых моделей
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проверили 4000 научных аннотаций и их переписывания 23 версиями ИИ. Если система ошибочно помечает 1% текстов, написанных людьми, она находила больше 99% переписываний одной версии, но лишь 3,8% — следующей.
Зачем это знать?
Для редакций это означает, что результаты такой проверки могут быстро устаревать после выхода новой модели. Вывод сделан на смоделированных сценариях, а не на наблюдении за длительной работой журналов.
Разбор
Авторы не просто сравнили готовые детекторы с одной моделью. Они взяли настоящие научные аннотации, написанные до появления ChatGPT, и сделали для каждой переписывания разными версиями языковых моделей. Затем проверили несколько способов поддерживать детектор: постоянно дообучать его после каждого релиза или оставить без обновлений. Так они воспроизвели ситуацию, в которой журналу нужно проверять тексты на протяжении смены моделей, а не один раз на старом тестовом наборе.
Главный сюрприз в том, что надёжность менялась не плавно. Детектор часто работал хорошо на следующей версии, но резко терял способность узнавать переписывания на отдельных переходах между поколениями. При этом новые модели могли менять словарь и привычные формулировки так, что детектор, обученный на более поздних версиях, тоже плохо распознавал тексты старых моделей. Авторы предлагают следить не только за датой последней проверки, но и за тем, какие версии моделей появились после неё.
Для практики они отдельно смоделировали два сценария работы проверки. Если пытаться накрыть все изученные версии одним экраном, придётся выбирать между заметным числом ложных срабатываний на человеческих текстах и пропусками переписываний самой новой версии. Дополнительный сигнал для решения об обновлении — насколько изменился словарь новой модели по сравнению с предыдущими: для этого достаточно небольшой подборки её переписываний, а не наблюдения за всей работой журнала.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, а не статья, прошедшая рецензирование. Авторы проверяли аннотации и их искусственные переписывания в смоделированных сценариях, а не реальные решения редакций; поэтому вывод о работе детекторов в журналах стоит воспринимать как сильный сигнал, но не как окончательную оценку.
- Это препринт, а не прошедшее рецензирование исследование.
- Результаты получены на 4000 научных аннотациях и переписываниях 23 версиями LLM, поэтому они не обязательно распространяются на все жанры текстов и модели.
- Выводы о работе скрининга основаны на смоделированных сценариях, а не на реальной многолетней эксплуатации журналами.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено