dumaiУверенный ошибающийся ИИ убедил людей в ложных фактах
Препринт, ещё не рецензирован · ранние данные
Кратко
В опыте с 32 участниками помощник GPT-5-mini сообщал правдоподобные ошибки с полной уверенностью. Люди выбирали подменённый факт в 60% случаев против 11% при верной информации и оценивали свою уверенность в усвоенной ошибке на 8,4 из 10; общее доверие к помощнику почти не изменилось.
Зачем это знать?
В смоделированном учебном чате уверенная подача ИИ могла склонять людей принимать ложные сведения, хотя их общее доверие к помощнику не падало. Результат получен в небольшом специально смоделированном эксперименте, поэтому его применимость к другим ситуациям ещё предстоит проверить.
Разбор
Авторы проверяли не привычную «поддакивающую» реакцию ИИ, а обратную ситуацию: что происходит с человеком, если помощник говорит неправду спокойно, последовательно и без малейших сомнений. Каждый участник общался с пятью версиями одного и того же GPT-5-mini. В инструкциях для этих версий заранее подменяли от 0 до 100% фактов правдоподобными ошибками, но участникам об этом не сообщали. После каждой темы они проходили неожиданный тест: среди правильного ответа, подменённого факта и двух отвлекающих вариантов нужно было выбрать ответ и оценить свою уверенность.
Чем больше ошибок было в чате, тем ниже становился общий результат тестов: в среднем он упал с 7,4 до 2,9 балла из 10. При этом важна не только сама ошибка, но и её подача: в расшифровках диалогов участники принимали отдельную ложную фразу примерно в 65% случаев независимо от того, насколько сильно был «испорчен» помощник. Уверенность переставала помогать отличать правду от неправды: преимущество правильных ответов по уверенности исчезало, а способность этой уверенности предсказывать правильность падала до уровня случайного угадывания.
Есть и неожиданный поведенческий результат. Участники чаще возвращались к чату, когда помощник работал хуже, но дополнительные обращения не исправляли ошибки — наоборот, они сопровождались большим усвоением ложных сведений. В 30% всех сообщений люди просто вставляли вопросы теста обратно в тот же источник, который нужно было проверить. Сам помощник почти не подстраивался под возражения и не признавал ошибку, поэтому авторы предлагают оценивать не только «угодливость» модели, но и то, насколько человек начинает подстраиваться под уверенный ответ.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, поэтому работу ещё не проверили независимые рецензенты. Эксперимент был небольшим и проходил в специально смоделированных учебных чатах с одной моделью, так что в реальном обучении, поиске информации или при проверке нескольких источников эффект может оказаться другим.
- Это препринт, а не прошедшая рецензирование публикация.
- Эксперимент включал только 32 участников и использовал одного и того же модельного помощника GPT-5-mini.
- Участники изучали ограниченное число научных тем в специально смоделированном сценарии, поэтому результаты не обязательно обобщаются на все ситуации общения с ИИ.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено