dumaiВ тесте COBRA свела успешные атаки на компьютерных ИИ к нулю
Препринт, ещё не рецензирован · ранние данные
Кратко
Проверили программы с ИИ, которые сами нажимают кнопки и работают с сайтами, на 101 задаче из девяти областей. В обычных системах атаки удавались в 89,5–94,4% случаев, а архитектура COBRA свела этот показатель к 0%, сохранив 97% полезности на обычных заданиях.
Зачем это знать?
Подход показывает, как заранее ограничивать параметры и адресатов действий программы на каждом шаге. Результат относится к специально созданному тесту и конкретным конфигурациям агентов, поэтому не гарантирует защиту от будущих атак.
Разбор
Проблема возникает не только тогда, когда вредный текст напрямую приказывает агенту сделать что-то опасное. Агент может увидеть поддельные данные на странице, сравнить их с заранее подготовленным планом и выбрать разрешённую, но вредную ветку. Такой сценарий авторы называют атакой на выбор ветки: злоумышленник не меняет инструкцию, а подталкивает программу к нужному варианту через содержание сайта или ответа инструмента.
Чтобы проверить эту уязвимость, авторы собрали STEER-Bench и разделили проверки на наборы по типу нарушаемого правила. Затем они запускали тесты с полной защитой COBRA и по очереди отключали отдельные её части. COBRA заранее ограничивает для каждой ветки не только допустимый ход выполнения, но и конкретные параметры действий и адреса, куда агент может обращаться. Это важно, потому что одного доверенного плана недостаточно: разрешённые значения сами могут прийти из недоверенного источника и направить программу не туда.
Проверка отдельных компонентов показала, что при отключении целевой защиты атаки проходили в 55–100% случаев, а при полной конфигурации COBRA — ни одной. В обычных заданиях система ошибочно заблокировала только четыре действия из 138 проверок. Три ошибки пришлись на сценарии с обновлением ограничений, одна — на вложенные ветки, где несколько правил сложились слишком строго. Это показывает цену защиты: она может остановить не только атаку, но и редкое нормальное действие.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, а не статья, прошедшая рецензирование. Результаты получены на специально составленном бенчмарке и на конкретных моделях и конфигурациях агентов, поэтому они убедительно показывают уязвимость подходов в этом тесте, но ещё не доказывают защиту от всех атак в реальных браузерах и приложениях.
- Это препринт, поэтому результаты ещё не прошли полноценную независимую проверку.
- Эффект показан на специально разработанном тестовом наборе из 101 задачи и конкретных конфигурациях агентов, а не в широком реальном применении.
- Нулевая успешность атак на этом наборе не означает защиты от всех будущих атак.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено