dumaiБудущие темы исследований ИИ угадывал лучше, чем конкретные идеи
Препринт, ещё не рецензирован · ранние данные
Кратко
Шести моделям дали научные публикации на 2025 год и сравнили их предложения с работами 2026 года в четырёх областях. Совпадение идей достигло 18% от уровня научных сообществ, а совпадение цитат — около 26%.
Зачем это знать?
Для оценки ИИ как помощника учёных важно различать умение назвать направление исследований и способность предложить конкретный план работы. Совпадение с будущими публикациями зависит от выбранных областей и способа сравнения.
Разбор
Авторы сравнили предложения ИИ с работами, которые учёные опубликовали позже. Всего они проверили более 90 000 предложений из четырёх научных областей.
Вместе предложения ИИ ссылались на столь же разнообразные публикации, как и научные сообщества. Но дополнительная информация об области и увеличение числа предложений почти не сократили разрыв в совпадении с будущими работами.
Эксперты также сравнили предложения ИИ со статьями учёных. Меньше всего предложения отставали по качеству изложения, а больше всего — по ожидаемой успешности. Хуже других оценили идеи ИИ, которые не совпали ни с одной статьёй учёных.
Ключевые цифры
Можно ли доверять
Авторы сравнили предложения шести моделей с публикациями следующего года в четырёх областях; часть работ также оценили эксперты. Такое сравнение показывает сходство с опубликованными исследованиями, но не показывает, удалось бы воплотить предложения ИИ на практике.
- Это препринт, а не прошедшая рецензирование статья.
- Сравнение проведено на шести моделях и четырёх областях исследований.
- Модели оценивали по совпадению с публикациями 2026 года, поэтому результат зависит от выбранных сообществ и критерия совпадения.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено