Около половины замечаний ИИ к научным статьям касались приложений
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы изучили 2 000 научных статей с четырёх конференций об искусственном интеллекте и языке. У людей на приложения приходилось только 8,4% замечаний; модели чаще указывали на мелкие технические детали, а не на проблемы основной идеи.
Зачем это знать?
При оценке научных статей ИИ может уделять много внимания второстепенным деталям. Разница в замечаниях сама по себе не доказывает, что ИИ ухудшает качество оценки людьми.
Разбор
Авторы сравнили, какие части 2 000 научных статей критиковали люди и модели GPT и Claude. Модели обращали много внимания на приложения при разных способах доступа: через сайт, программный доступ и помощника для работы с кодом.
Даже замечания людей к приложениям в основном касались изложения и содержания, связанного с главной идеей статьи. Модели же находили мелкие технические детали глубоко в приложениях, хотя те не относились к основным результатам работы.
Ключевые цифры
Можно ли доверять
Авторы сравнили замечания людей и моделей к 2 000 статьям с четырёх конференций. Они изучали, каких частей статей касалась критика, а не проверяли, как замечания ИИ влияют на качество оценки людьми. Поэтому разница в замечаниях сама по себе не доказывает, что ИИ ухудшает такую оценку.
- Это препринт, а не прошедшая рецензирование статья.
- Анализ охватывает статьи из ACL, EMNLP, COLM и ICLR, поэтому его выводы могут не распространяться на другие области.
- Результат показывает различие в характере замечаний, но не доказывает, что использование LLM ухудшает качество человеческих рецензий.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено