dumai
ИИarXiv cs.CL

Проверка доказательств помогла ИИ точнее оценивать слухи в опыте

Препринт, ещё не рецензирован · ранние данные

Кратко

Авторы проверили 14 моделей на 1090 слухах о шести событиях из Twitter. Двенадцать моделей приняли более 65% слухов. Экспериментальная проверка прямых доказательств повысила точность решений на 5,6–29,0 процентного пункта.

Зачем это знать?

Проверка того, подтверждают ли факты вывод напрямую, может помочь замечать слухи в ответах ИИ. Её надёжность за пределами опыта ещё не установлена.

Разбор

Авторы составили вводящие в заблуждение рассказы из правдивых фрагментов сообщений. Модели могли связать отдельные факты между собой и принять эти связи за доказанные, хотя сами сообщения их не подтверждали.

Ошибки сохранялись и при дополнительной проверке. После голосования по большинству или повторного разбора тех же свидетельств модели по-прежнему принимали более 50% слухов. Авторы также обнаружили, что фрагменты, влияющие на ответ модели, не обязательно служат доказательством слуха.

Ключевые цифры

>50%Доля принятых слухов оставалась выше половины и после голосования по большинству или повторного разбора свидетельств.

Можно ли доверять

Авторы проверили модели на 1 090 слухах о шести событиях, составляя вводящие в заблуждение подборки из правдивых сообщений. Это опыт в заданных авторами условиях: он не показывает, насколько хорошо проверка доказательств сработает в других ситуациях.

  • Это препринт, не прошедший рецензирование.
  • Результаты получены в симулированной среде на языковых моделях, а не на людях или в реальных системах принятия решений.
  • Монитор протестирован только как proof-of-concept, поэтому его практическая надёжность не установлена.

Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено

Источник и детали
ЖурналarXiv (cs.CL)
Дата публикации у нас18 ноября 2026 г.
Дата источника16 ноября 2026 г.
ОригиналОткрыть
АвторыJinwei Hu, Qisong He, Xinmiao Huang, Youcheng Sun, Yi Dong, Xiaowei Huang