Проверка доказательств помогла ИИ точнее оценивать слухи в опыте
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проверили 14 моделей на 1090 слухах о шести событиях из Twitter. Двенадцать моделей приняли более 65% слухов. Экспериментальная проверка прямых доказательств повысила точность решений на 5,6–29,0 процентного пункта.
Зачем это знать?
Проверка того, подтверждают ли факты вывод напрямую, может помочь замечать слухи в ответах ИИ. Её надёжность за пределами опыта ещё не установлена.
Разбор
Авторы составили вводящие в заблуждение рассказы из правдивых фрагментов сообщений. Модели могли связать отдельные факты между собой и принять эти связи за доказанные, хотя сами сообщения их не подтверждали.
Ошибки сохранялись и при дополнительной проверке. После голосования по большинству или повторного разбора тех же свидетельств модели по-прежнему принимали более 50% слухов. Авторы также обнаружили, что фрагменты, влияющие на ответ модели, не обязательно служат доказательством слуха.
Ключевые цифры
Можно ли доверять
Авторы проверили модели на 1 090 слухах о шести событиях, составляя вводящие в заблуждение подборки из правдивых сообщений. Это опыт в заданных авторами условиях: он не показывает, насколько хорошо проверка доказательств сработает в других ситуациях.
- Это препринт, не прошедший рецензирование.
- Результаты получены в симулированной среде на языковых моделях, а не на людях или в реальных системах принятия решений.
- Монитор протестирован только как proof-of-concept, поэтому его практическая надёжность не установлена.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено