Защита от скрытых команд не пропустила ни одной атаки на ИИ в тесте
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проверили CapLite на 15 открытых моделях ИИ в испытательном наборе AgentDojo. Под атакой полезность CapLite составила 29,0% против 27,2% у защиты CaMeL, а расход токенов — единиц текста — составил 18% от расхода CaMeL.
Зачем это знать?
CapLite показывает, как можно защищать действия ИИ с данными от скрытых команд. Испытания проходили в имитации и не гарантируют защиты от всех атак в реальных системах.
Разбор
Авторы сравнили защиты на 15 открытых моделях ИИ. Они проверили, могут ли модели сами создавать правила защиты: одна из проверенных защит пропустила атаки на 14 из 15 моделей, а программы другой не запускались в некоторых случаях — до 68% попыток.
Новая защита иначе выбирает, какие действия разрешить. Она заранее определяет действия, которые меняют данные, и разрешает их только тогда, когда влияющие на них детали указаны в просьбе пользователя. Например, скрытый текст не может подменить получателя или сумму.
Ключевые цифры
Можно ли доверять
Авторы проверили защиту на 15 моделях в 13 935 испытаниях с атаками. Проверка проходила в имитации, поэтому отсутствие успешных атак в этом наборе не гарантирует защиты от всех атак в реальных системах.
- Это препринт без независимой проверки.
- Результаты получены в симуляционном тестовом наборе AgentDojo, а не в реальных пользовательских системах.
- Гарантия относится к целостности записей при условиях, заданных схемами инструментов и пользовательским запросом; это не означает полной защиты агента от всех атак.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено