dumaiОбмануть ИИ-помощников в тесте было легче с поддельными материалами
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проверили семь моделей в 608 заданиях по мотивам реальных случаев мошенничества. С поддельными изображениями и другими материалами доля успешных атак выросла с 19,9% до 29,2%; для отдельных моделей она составила от 7,1% до 34,5%.
Зачем это знать?
ИИ-помощники, которые выполняют действия в приложениях, оказались уязвимы к поддельным материалам в испытаниях. Как они поведут себя в реальных системах, эта проверка не показывает.
Разбор
Авторы проверяли помощников в имитациях приложений. Те изучали материалы, проверяли запросы и выполняли действия; результат атаки определяли по записям об этих действиях. Задания охватывали 152 сценария мошенничества и четыре уровня сложности, а также учитывали китайский и англоязычный контексты.
Более строгие инструкции по безопасности уменьшили долю успешных атак, но не помогли лучше распознавать поддельные материалы. При этом некоторые модели, реже поддававшиеся атакам, слишком часто отказывались выполнять законные запросы.
Ключевые цифры
Можно ли доверять
Семь моделей проверили в 608 заданиях, где помощники действовали в имитациях приложений, а результаты определяли по записям выполненных действий. Это позволяет проверить действия в условиях испытания, но не показывает, как помощники поведут себя в реальных системах.
- Это препринт, результаты ещё не прошли рецензирование.
- Проверка проводилась в симулированных приложениях, поэтому она не показывает напрямую, как агенты поведут себя в реальных системах.
- Оценены семь моделей и 608 специально разработанных заданий; полученные денежные потери были симулированными.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено