ИИ-агенты выбирали отели в среднем за $247–393 за ночь
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проверили 28 моделей ИИ, которые выполняли 3600 заданий по бронированию 179 отелей Нью-Йорка. Более способные модели выбирали последовательнее, но их чувствительность к цене, качеству и известности бренда заметно различалась — иногда даже внутри одного семейства моделей.
Зачем это знать?
Если ИИ поручают выбирать покупки, его предпочтения могут влиять на цену и качество результата — и их нельзя надёжно угадать по общей «умности» модели. Вывод основан на тестовых заданиях, а не на реальных покупках пользователей; статья пока остаётся препринтом.
Разбор
Авторы не просто сравнили, какой отель выбрала модель. Они восстановили скрытые предпочтения по самим решениям: насколько модель реагирует на цену, как меняет цену на качество и обращает ли внимание на известность бренда. Для этого использовали модель выбора — математический способ отделить влияние каждого признака, когда варианты отличаются сразу по нескольким параметрам. Так PriceBench превращает набор ответов ИИ в измеримый «профиль покупателя».
Важная деталь: часть моделей вообще почти не сравнивала варианты. Пять из них в 88–100% случаев брали отель, стоявший первым в списке. Это делает агента уязвимым для того, кто управляет порядком выдачи: достаточно поднять нужный вариант наверх. Среди моделей, которые действительно просматривали предложения, авторы нашли 23 работающих с выбором, но их отношение к цене оказалось разным: у 21 из них более дорогие отели всё-таки снижали вероятность выбора, а сила этой реакции сильно расходилась.
Авторы также проверили, сохраняются ли выводы при других форматах заданий и связаны ли предпочтения с размером модели. Общая картина не изменилась: способность выбирать последовательно ещё не говорит, какие именно варианты модель предпочитает. Поэтому проверку нового агента предлагают проводить отдельно для каждой модели — до запуска, одним стандартным набором заданий, а не пытаться предсказать его поведение по названию семейства или числу параметров.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, поэтому другие учёные ещё не провели независимую рецензию. Кроме того, модели проверяли на стандартизированных заданиях с реальными объектами, но не на настоящих покупках пользователей: в реальном сервисе на результат могут влиять дополнительные данные, интерфейс и цель человека. Сильная сторона работы — открытые задания, код и ответы всех проверенных моделей, которые позволяют воспроизвести анализ.
- Это препринт, поэтому результаты ещё не прошли полноценную независимую проверку.
- Выводы основаны на 3600 заданиях по отелям Нью-Йорка и могут не переноситься на другие товары, рынки или реальные покупки.
- Исследование оценивает выборы LLM в тестовых заданиях, а не фактический финансовый ущерб или поведение пользователей в рабочей системе.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено