dumai
ИИarXiv cs.AI

Помощники ИИ в испытаниях повторили большинство описанных ошибок

Препринт, ещё не рецензирован · ранние данные

Кратко

Авторы воссоздали описанные инциденты вне реальной работы помощников. Пять моделей ИИ повторяли опасную ошибку в 18–33% запусков, а без предполагаемой причины — не более чем в 1%. Предупреждение, которое прямо называло опасность и её последствия, снижало вред во всех пяти моделях.

Зачем это знать?

Воспроизведение ошибок помощников ИИ позволяет проверять предполагаемые причины происшествий и способы снизить вред. Эти результаты получены в испытаниях, а не при реальной работе помощников.

Разбор

Авторы сравнили воссозданные происшествия с похожими ситуациями без предполагаемой причины ошибки. Из 108 попыток воссоздать происшествия в 89% помощники повторили описанный вред хотя бы раз.

Большинство происшествий с реальным вредом обошлись без злоумышленника: 62 из 72. В них помощники выполняли задание, но упускали обычную опасность — например, что база данных связана с работающим сайтом. При проверке таких ситуаций вред возникал чаще, чем при проверке ситуаций с подставными инструкциями злоумышленника, — у всех пяти моделей.

Содержание предупреждения оказалось важнее его длины. Заметка такой же длины, которая не называла опасность, оставляла большую часть вреда без изменений.

Ключевые цифры

89%В такой доле из 108 попыток помощники хотя бы раз повторили описанный вред.
62 из 72В стольких происшествиях с реальным вредом не было злоумышленника.

Можно ли доверять

Авторы проверили пять моделей на 108 воссозданных происшествиях и сравнили их работу с ситуациями без предполагаемой причины ошибки. Это помогает проверить роль предполагаемой причины, но испытания проходили вне реальной работы помощников, а повторить удалось не все происшествия.

  • Это препринт, не прошедший рецензирование.
  • Результаты получены в офлайн-воспроизведениях инцидентов, а не в реальной эксплуатации агентов.
  • На каждый вариант приходилось обычно по три запуска, поэтому точность отдельных оценок ограничена.

Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено

Источник и детали
ЖурналarXiv (cs.AI)
Дата публикации у нас21 ноября 2026 г.
Дата источника19 ноября 2026 г.
ОригиналОткрыть
АвторыMengxiao Wang, Mahbub Alam, Kalyan Nakka, Nitesh Saxena