dumai
ИИarXiv cs.CL

Защита от скрытых команд не пропустила ни одной атаки на ИИ в тесте

Препринт, ещё не рецензирован · ранние данные

Кратко

Авторы проверили CapLite на 15 открытых моделях ИИ в испытательном наборе AgentDojo. Под атакой полезность CapLite составила 29,0% против 27,2% у защиты CaMeL, а расход токенов — единиц текста — составил 18% от расхода CaMeL.

Зачем это знать?

CapLite показывает, как можно защищать действия ИИ с данными от скрытых команд. Испытания проходили в имитации и не гарантируют защиты от всех атак в реальных системах.

Разбор

Авторы сравнили защиты на 15 открытых моделях ИИ. Они проверили, могут ли модели сами создавать правила защиты: одна из проверенных защит пропустила атаки на 14 из 15 моделей, а программы другой не запускались в некоторых случаях — до 68% попыток.

Новая защита иначе выбирает, какие действия разрешить. Она заранее определяет действия, которые меняют данные, и разрешает их только тогда, когда влияющие на них детали указаны в просьбе пользователя. Например, скрытый текст не может подменить получателя или сумму.

Ключевые цифры

13 935В таком числе испытаний с атаками новая защита не пропустила ни одной из них.
14 из 15На стольких моделях одна из других проверенных защит пропустила атаки.
68%Доля попыток, в которых программы ещё одной защиты не запускались, доходила до этого уровня.

Можно ли доверять

Авторы проверили защиту на 15 моделях в 13 935 испытаниях с атаками. Проверка проходила в имитации, поэтому отсутствие успешных атак в этом наборе не гарантирует защиты от всех атак в реальных системах.

  • Это препринт без независимой проверки.
  • Результаты получены в симуляционном тестовом наборе AgentDojo, а не в реальных пользовательских системах.
  • Гарантия относится к целостности записей при условиях, заданных схемами инструментов и пользовательским запросом; это не означает полной защиты агента от всех атак.

Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено

Источник и детали
ЖурналarXiv (cs.CL)
Дата публикации у нас15 ноября 2026 г.
Дата источника12 ноября 2026 г.
ОригиналОткрыть
АвторыZimo Xu, Wenzhuo Liu, Hideki Nakayama