Без веб-поиска ИИ продолжает находить новые бренды к 15-му запуску

Кратко

Авторы проверили 50 вопросов: каждый из них 15 раз задавали шести системам ИИ. В пяти системах без веб-поиска новые бренды появлялись даже в последнем запуске — в 86–92% случаев, тогда как система с поиском обычно быстрее исчерпывала список.

Зачем это знать

Полнота списка зависит не только от формулировки вопроса, но и от того, ищет ли ИИ информацию в интернете. Это препринт с конкретными вопросами и настройками, поэтому он не показывает, насколько хороши рекомендации и сохраняется ли результат для других тем, языков и режимов.

Разбор

Авторы не просто сравнили ответы, а отслеживали, какие организации появляются впервые при каждом повторе одного и того же вопроса. Для этого они собрали 300 сочетаний «вопрос–система» и свели упомянутые бренды к единому списку из 1 470 организаций — так разные названия одной компании не искажали подсчёт. Затем оценили не только уже найденное число, но и то, сколько редких организаций могло остаться за пределами наблюдений. Такой подход важен, потому что обычный список заранее известных брендов создаёт искусственный потолок: когда модель называет всё из этого списка, кажется, что поиск закончен, хотя открытый ответ мог бы продолжаться.

Картина оказалась разной для двух режимов. У системы с веб-поиском список обычно замыкался примерно к десятому повтору, а без поиска новые организации продолжали появляться и после этого. Даже один запуск давал лишь 62–77% набора брендов, который набирался за пять запусков, поэтому единичный ответ заметно недооценивает разнообразие рекомендаций. В четырёх специально подробно проверенных сочетаниях авторы продолжали находить новые домены источников до 24-го запуска; это показывает, что расширяется не только список брендов, но и карта сайтов, на которые опираются ответы.

Есть и ещё один результат: на типичном вопросе системы вместе называли 38 организаций, но 15 из них встречались ровно у одной системы. Значит, сравнение нескольких ИИ добавляет не просто дубликаты, а заметный слой уникальных вариантов. При этом исследование отвечает на вопрос о полноте и разнообразии списков, а не о том, какие бренды лучше, чаще рекомендуются или действительно подходят покупателю.

Ключевые цифры

300 сочетаний «вопрос–система»Такой объём позволяет сравнить повторные ответы не на одном примере, а на 50 вопросах сразу в нескольких системах.

1 470 организацийСтолько разных организаций вручную учли и сопоставили, чтобы не считать одно и то же имя разными брендами.

24-й запускДаже после 24 одинаковых запросов в подробных проверках продолжали появляться новые домены источников — список сайтов ещё не замкнулся.

38 организаций, из них 15 — только у одной системыНа типичном вопросе разные ИИ добавляли много уникальных вариантов, а не просто повторяли общий набор.

Можно ли доверять

Это препринт на arXiv, поэтому работу ещё не проверили рецензенты. Анализ охватывает шесть систем и 50 вопросов, но авторы сами отмечают, что результат нужно отдельно проверять для других категорий, языков, настроек генерации и вариантов веб-поиска.

Пересказано ИИ по научной статье. Как это устроено

Источник и детали

ЖурналarXiv (cs.CL)

Дата публикации у нас7 сентября 2026 г.

Дата источника4 сентября 2026 г.

ОригиналОткрыть

АвторыDmitrij Żatuchin