dumai
ИИHugging Face Daily Papers

Около половины замечаний ИИ к научным статьям касались приложений

Препринт, ещё не рецензирован · ранние данные

Кратко

Авторы изучили 2 000 научных статей с четырёх конференций об искусственном интеллекте и языке. У людей на приложения приходилось только 8,4% замечаний; модели чаще указывали на мелкие технические детали, а не на проблемы основной идеи.

Зачем это знать?

При оценке научных статей ИИ может уделять много внимания второстепенным деталям. Разница в замечаниях сама по себе не доказывает, что ИИ ухудшает качество оценки людьми.

Разбор

Авторы сравнили, какие части 2 000 научных статей критиковали люди и модели GPT и Claude. Модели обращали много внимания на приложения при разных способах доступа: через сайт, программный доступ и помощника для работы с кодом.

Даже замечания людей к приложениям в основном касались изложения и содержания, связанного с главной идеей статьи. Модели же находили мелкие технические детали глубоко в приложениях, хотя те не относились к основным результатам работы.

Ключевые цифры

2 000Столько научных статей вошло в сравнение замечаний людей и моделей.
около 50% и болееТакая доля замечаний моделей касалась приложений, тогда как у людей она составляла 8,4%.

Можно ли доверять

Авторы сравнили замечания людей и моделей к 2 000 статьям с четырёх конференций. Они изучали, каких частей статей касалась критика, а не проверяли, как замечания ИИ влияют на качество оценки людьми. Поэтому разница в замечаниях сама по себе не доказывает, что ИИ ухудшает такую оценку.

  • Это препринт, а не прошедшая рецензирование статья.
  • Анализ охватывает статьи из ACL, EMNLP, COLM и ICLR, поэтому его выводы могут не распространяться на другие области.
  • Результат показывает различие в характере замечаний, но не доказывает, что использование LLM ухудшает качество человеческих рецензий.

Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено

Источник и детали
ЖурналarXiv (via Hugging Face)
Дата публикации у нас16 ноября 2026 г.
Дата источника12 ноября 2026 г.
ОригиналОткрыть
АвторыSaptarshi Ghosh, Mohammad Saim, Tianyu Jiang