dumaiИИ может выбрать менее подходящий вариант из-за источника
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проверили 12 моделей в трёх областях задач. Модели устойчиво предпочитали одни источники и избегали других, даже когда варианты одинаково соответствовали запросу. Если один вариант хуже соответствовал запросу, но происходил из предпочтительного источника, его выбирали примерно в двух случаях из трёх; в обратной ситуации — почти никогда. Скрытие источника и добавление недостающих сведений ослабляли перекос.
Зачем это знать?
Для ИИ, который ищет товары, отели или статьи, одной проверки соответствия запросу может быть недостаточно: модели реагировали и на источник варианта. Результат получен в контролируемых сценариях, поэтому он обозначает риск для таких систем, а не описывает реальные решения пользователей.
Разбор
Авторы проверяли не только итоговый выбор, но и то, что именно в вариантах влияет на решение. Они ставили рядом результаты из разных источников, подбирая пары с одинаковым соответствием требованиям и одинаковым местом в списке. Затем в отдельных опытах убирали названия и ссылки на источник, а после возвращали их. В другом опыте оставляли заголовок и содержание прежними, но меняли только обозначение источника. Так можно отделить влияние репутации или названия источника от реальных различий между вариантами.
Эксперименты показали, что источник действует как самостоятельный сигнал: когда его скрывали, перекос слабел, а когда одному и тому же варианту приписывали предпочтительный источник, его выбирали чаще. Авторы предлагают два возможных объяснения. Во-первых, обучение с наградой за более подходящие ответы могло научить модель использовать источник как быстрый признак качества. Во-вторых, если в описании не хватает важных сведений, модель может заполнять пробелы заранее сложившимся представлением об источнике. Добавление недостающей информации и отдельная инструкция пересмотреть такие предположения снижали перекос.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, поэтому работу ещё не проверили независимые рецензенты. Сильная сторона — контролируемые эксперименты на 12 моделях и трёх областях, но проверяли поведение ИИ в специально созданных списках, а не решения реальных пользователей в настоящих покупках, бронированиях или поиске статей.
- Это препринт, результаты ещё не прошли рецензирование.
- Выводы основаны на 12 моделях и трёх предметных областях; неясно, насколько они обобщаются на все агентные системы и реальные покупки.
- Работа показывает поведение моделей в контролируемых поисковых сценариях, а не реальные решения пользователей и их последствия.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено