Вопросы о рукописи отличили авторов от неавторов

Препринт, ещё не рецензирован · ранние данные

Кратко

Прототип greCAPTCHA задаёт заявленному автору вопросы о рукописи под наблюдением и оценивает, насколько он понимает её содержание. В испытании с 31 исследователем оценки различили авторов и неавторов с AUC 0,90 — показателем качества такого различения.

Зачем это знать?

Подход предлагает оценивать понимание конкретной работы, а не опираться только на имя автора. Но его проверили лишь на 31 исследователе и конкретных рукописях, поэтому готовность к реальной проверке пока не доказана.

Разбор

Идея появилась из практической проблемы: имя в списке авторов больше не гарантирует, что человек действительно разбирался в тексте, особенно если часть работы могла появиться с помощью ИИ. greCAPTCHA проверяет не общие знания исследователя, а способность разобраться именно в этой рукописи и критически оценить сделанные в ней шаги. Проверка проходит под наблюдением: система задаёт вопросы разных уровней сложности, а затем превращает ответы в подробный отчёт.

Авторы не ограничились одной итоговой оценкой. Они сравнивали разные типы вопросов и отдельно проверяли, влияет ли знакомство участника с научной областью незнакомой ему рукописи. После теста исследователи проходили полуструктурированные интервью — разговоры по заранее заданным темам, но с возможностью объяснить свои впечатления. Участники в целом приняли такой формат и сочли, что он действительно проверяет понимание автором собственной работы, однако указали на изменения, нужные до практического запуска.

Это важно ещё и потому, что система проверяет не способность быстро угадать правильный ответ, а понимание, достаточное для поиска ошибок и оценки содержания. Поэтому подход пытается закрыть пробел между формальным указанием имени в статье и реальным участием в исследовании. Но пока это прототип: его работу изучали в специально организованных условиях, а не при массовой проверке рукописей в журналах или на конференциях.

Ключевые цифры

31 исследовательВыводы основаны на небольшом пользовательском испытании, поэтому они показывают перспективность подхода, а не его готовность для всех научных публикаций.

AUC 0,90По этому показателю система довольно хорошо разделяла две группы участников; это сильный результат для эксперимента, но он не гарантирует такой же точности в другой выборке.

[0, 1]Авторы привели оценки к единой шкале от нуля до единицы, чтобы сопоставлять ответы разных людей и типов вопросов.

Можно ли доверять

Это препринт на arXiv, а не статья, прошедшая независимое рецензирование. Проверка была небольшой, проходила на конкретных рукописях и в контролируемых условиях; сами участники назвали изменения, которые нужны перед внедрением, поэтому результат пока стоит считать предварительным.

Это препринт, прошедший ограниченное исследование с 31 участником.
Результат получен для прототипа и конкретных рукописей и условий тестирования; переносимость на другие области и реальные процессы оценки не показана.
Участники сами указали на важные изменения, необходимые до внедрения системы.

Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено

Источник и детали

ЖурналarXiv (cs.AI)

Дата публикации у нас18 сентября 2026 г.

Дата источника17 сентября 2026 г.

ОригиналОткрыть

АвторыJustin Payan, Bálint Gyevnár, Atoosa Kasirzadeh, Nihar B. Shah