dumaiОбщеизвестные факты два помощника ИИ почти никогда не искали в интернете
Препринт, ещё не рецензирован · ранние данные
Кратко
В тесте из 400 вопросов GPT-5 mini и Grok 4 Fast обращались к поиску лишь в 1% вопросов об общеизвестных фактах. Без явных указаний на время эти помощники хуже решали, когда искать информацию. Сравнивали готовые продукты с разными поисковыми инструментами и настройками, а не только сами модели.
Зачем это знать?
Помощникам ИИ нужен поиск для ответа на вопросы о событиях после их обучения. Без него они могут уверенно отвечать, не имея достаточных сведений.
Разбор
Помощникам предложили вопросы с готовыми вариантами ответа и возможностью отказаться от ответа. Среди них были как общеизвестные факты, так и вопросы о новостях, опубликованных после завершения обучения помощников, насколько известно авторам. Каждый помощник проходил проверку с доступом к поиску и без него.
Помощники по-разному искали сведения о недавних новостях. Два обращались к поиску более чем в 90% таких вопросов, а ещё один — лишь в 20%, нередко отказываясь отвечать вместо поиска.
Ключевые цифры
Можно ли доверять
Пять помощников проверили на 400 вопросах с вариантами ответа, с доступом к поиску и без него. У одного продукта показатель обращения к поиску оказался непригодным, а результаты относятся к продуктам с их поисковыми инструментами и настройками, а не к способностям моделей отдельно.
- Это препринт, а не прошедшая рецензирование статья.
- Сравнивались не модели сами по себе, а продукты с разными поисковыми инструментами, настройками и промптами.
- Некоторые признаки факта поиска не были проверены по исходным ответам API; индикатор Gemini оказался неисправен.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено