dumai
ИИHugging Face Daily Papers

Дополнительные рассуждения придали ИИ уверенности, но не улучшили выбор товаров

Препринт, ещё не рецензирован · ранние данные

Кратко

Десять моделей проверили на трёх наборах заданий с товарами. Большинство плохо соотносило собственную уверенность с правильностью выбора, а разные модели нередко ошибались в одних и тех же заданиях и выбирали один и тот же неподходящий товар.

Зачем это знать?

Помощники по покупкам могут выглядеть убедительнее, не становясь точнее. Проверка проходила на тестовых заданиях, а не при реальных покупках.

Разбор

Исследователи сравнили выбор товаров при разной глубине рассуждений. Моделям давали задания с текстовыми описаниями и изображениями товаров и просили уделять выбору больше или меньше усилий.

Уверенность проверяли отдельно от правильности выбора. Для этого заявленный моделью процент уверенности сравнивали с тем, как часто она отвечала правильно; большинство моделей плохо проходили эту проверку при любом уровне усилий.

Можно ли доверять

Десять моделей проверили на трёх наборах заданий, сравнивая результаты при разных усилиях рассуждения. Это проверка на заданиях, а не при настоящих покупках; отсутствие убедительного улучшения также не доказывает, что разницы совсем нет.

  • Это препринт, а не прошедшая рецензирование статья.
  • Выводы основаны на трёх тестовых наборах, построенных на WebShop, Amazon SQID и Wayfair WANDS, а не на реальных покупках пользователей.

Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено

Источник и детали
ЖурналarXiv (via Hugging Face)
Дата публикации у нас20 ноября 2026 г.
Дата источника16 ноября 2026 г.
ОригиналОткрыть
АвторыAdi Krishnamoorthy, X. Y. Han