Дополнительные рассуждения придали ИИ уверенности, но не улучшили выбор товаров
Препринт, ещё не рецензирован · ранние данные
Кратко
Десять моделей проверили на трёх наборах заданий с товарами. Большинство плохо соотносило собственную уверенность с правильностью выбора, а разные модели нередко ошибались в одних и тех же заданиях и выбирали один и тот же неподходящий товар.
Зачем это знать?
Помощники по покупкам могут выглядеть убедительнее, не становясь точнее. Проверка проходила на тестовых заданиях, а не при реальных покупках.
Разбор
Исследователи сравнили выбор товаров при разной глубине рассуждений. Моделям давали задания с текстовыми описаниями и изображениями товаров и просили уделять выбору больше или меньше усилий.
Уверенность проверяли отдельно от правильности выбора. Для этого заявленный моделью процент уверенности сравнивали с тем, как часто она отвечала правильно; большинство моделей плохо проходили эту проверку при любом уровне усилий.
Можно ли доверять
Десять моделей проверили на трёх наборах заданий, сравнивая результаты при разных усилиях рассуждения. Это проверка на заданиях, а не при настоящих покупках; отсутствие убедительного улучшения также не доказывает, что разницы совсем нет.
- Это препринт, а не прошедшая рецензирование статья.
- Выводы основаны на трёх тестовых наборах, построенных на WebShop, Amazon SQID и Wayfair WANDS, а не на реальных покупках пользователей.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено