Без поиска ИИ часто советует не тех врачей и фирмы с нарушениями

Авторы не просто попросили модели назвать специалистов, а сверили каждый ответ с официальными реестрами. Для врачей они использовали записи Medicare, а для финансовых консультантов — раскрытия американского регулятора SEC. Проверка охватила врачей, медицинские учреждения, финансовые фирмы и рестораны в крупнейших городских районах США. Так исследователи отделили настоящую рекомендацию от совпадения имён или от названия, которое модель могла придумать.

Самое показательное сравнение — двух одинаковых запусков одной коммерческой модели: в одном случае поиск отключили, в другом включили. Значит, разницу можно связать именно с доступом к интернету, а не с другой моделью или другим вопросом. Для дополнительной проверки авторы использовали также модель с открытыми параметрами. Оказалось, что без поиска совпадения с реальными врачами иногда были лишь совпадениями имён: такие «совпавшие» специалисты не чаще оказывались врачами первичного приёма, чем случайно выбранные люди из реестра.

Отдельно проверили, не путает ли модель популярность с качеством. У рекомендованных ресторанов было в три–пять раз больше отзывов, чем у сравниваемых заведений, но средняя оценка отличалась не более чем на десятую долю звезды. Это похоже на выбор по заметности, а не на убедительное доказательство лучшего качества. По финансовым фирмам картина менялась ещё сильнее: без поиска система чаще выбирала фирмы с раскрытыми нарушениями, а при поиске этот перекос исчезал и становился ниже обычной доли таких фирм в реестре.

Авторы также показали практическое последствие: без поиска система лучше справлялась с крупнейшими городами, где о поставщиках услуг, вероятно, больше доступной информации, а в небольших агломерациях реальные совпадения встречались хуже. При включённом поиске эта зависимость от размера города в основном пропадала. При этом поиск заметно удорожал запуск: сервису приходилось отдельно оплачивать несколько обращений к интернету для каждого ответа.