Советы ИИ о покупках меняются от запроса к запросу

Авторы собрали набор из 2 528 настоящих вопросов о покупках, а затем сравнили не только сами ответы, но и условия, в которых их получали. Они отдельно проверяли веб-версии ChatGPT и Gemini, их интерфейсы для разработчиков — API — и блок AI Overviews в Google Search. Это важно: API даёт исследователю больше контроля, но не показывает сервис ровно так, как его видит обычный пользователь, поэтому считать API полной заменой интерфейсу нельзя.

Чтобы проверить повторяемость, авторы взяли 117 вопросов и задали каждый по три раза в каждом из пяти режимов. Они сравнивали, какие товары и сайты появлялись снова, а также какие уровни источников раскрывал сервис: например, не только ссылки, но и то, как источники были представлены в ответе. Для разметки исследователи сначала вручную согласовали правила на тестовой выборке, а затем проверили работу языковой модели на отдельном наборе с эталонными ответами.

Главный дополнительный вывод — нестабильность касается не только списка рекомендаций. Меняется и картина источников, на которых строится совет: у ChatGPT и Gemini интерфейс и API показывают разные наборы сайтов и по-разному раскрывают информацию о них. Поэтому проверка одного ответа или только разработческого доступа может создать ложное впечатление о том, какой совет обычно получает покупатель.