Помощники ИИ в испытаниях повторили большинство описанных ошибок
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы воссоздали описанные инциденты вне реальной работы помощников. Пять моделей ИИ повторяли опасную ошибку в 18–33% запусков, а без предполагаемой причины — не более чем в 1%. Предупреждение, которое прямо называло опасность и её последствия, снижало вред во всех пяти моделях.
Зачем это знать?
Воспроизведение ошибок помощников ИИ позволяет проверять предполагаемые причины происшествий и способы снизить вред. Эти результаты получены в испытаниях, а не при реальной работе помощников.
Разбор
Авторы сравнили воссозданные происшествия с похожими ситуациями без предполагаемой причины ошибки. Из 108 попыток воссоздать происшествия в 89% помощники повторили описанный вред хотя бы раз.
Большинство происшествий с реальным вредом обошлись без злоумышленника: 62 из 72. В них помощники выполняли задание, но упускали обычную опасность — например, что база данных связана с работающим сайтом. При проверке таких ситуаций вред возникал чаще, чем при проверке ситуаций с подставными инструкциями злоумышленника, — у всех пяти моделей.
Содержание предупреждения оказалось важнее его длины. Заметка такой же длины, которая не называла опасность, оставляла большую часть вреда без изменений.
Ключевые цифры
Можно ли доверять
Авторы проверили пять моделей на 108 воссозданных происшествиях и сравнили их работу с ситуациями без предполагаемой причины ошибки. Это помогает проверить роль предполагаемой причины, но испытания проходили вне реальной работы помощников, а повторить удалось не все происшествия.
- Это препринт, не прошедший рецензирование.
- Результаты получены в офлайн-воспроизведениях инцидентов, а не в реальной эксплуатации агентов.
- На каждый вариант приходилось обычно по три запуска, поэтому точность отдельных оценок ограничена.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено