dumaiАвтономная атака чаще обходила защиту ИИ и требовала меньше ходов
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы создали систему, которая сама читает ответы языковой модели и меняет следующие запросы, пока не добьётся нужного результата. В тестах она с первой попытки обходила защиту DeepSeek-V4-Flash в 76,0% случаев, в среднем за 3,0 хода; на четырёх других защищённых моделях показатель составил 59,6%. Результаты получили с помощью автоматических проверок на двух тестовых наборах, а для самых защищённых моделей систему отдельно дообучали.
Зачем это знать?
Результат показывает, что заранее заданные тестовые запросы могут не отражать поведение атак, которые подстраиваются под ответы модели. Насколько такой подход работает в реальных пользовательских сценариях, по этим данным неизвестно.
Разбор
Авторы сравнили три подхода к обходу защиты. Статический атакующий заранее составляет весь план и не учитывает ответы модели. Интерактивный читает ответ, но ему нужен отдельный проверяющий модуль, который подсказывает, удалась ли атака. SEMA-Auto пытается обойтись без такого посредника: после каждого ответа она сама решает, что делать дальше, и сама прекращает диалог, когда считает цель достигнутой.
Систему обучали в два этапа. Сначала ей показали искусственно созданные примеры, чтобы она научилась распознавать цель атаки и выбирать подходящее действие на каждом ходу. Затем авторы применили обучение с подкреплением — настройку поощрениями за успешный обход — и отдельно контролировали решения на каждом шаге. Это важно из-за «схлопывания решений»: при наивном обучении система может зациклиться на одном и том же типе действий вместо того, чтобы менять тактику.
Проверка охватила 520 запросов из AdvBench и 159 запросов из стандартной части HarmBench. Авторы тестировали систему на открытых и закрытых моделях, включая варианты, которых не было в обучении: атакующий учился на Llama-3.1-8B-Instruct, а затем проверялся на других моделях. Для наиболее защищённых моделей его дообучали отдельно; там преимущество над предыдущим лучшим результатом составило 13,8 процентного пункта. У сравниваемых интерактивных систем был ещё один недостаток: некоторые использовали того же проверяющего, по которому их потом оценивали, что могло искусственно улучшить их результат.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, а не статья, прошедшая независимое рецензирование. Проверка выглядит широкой по числу моделей и тестовых наборов, но результаты получены на автоматических оценщиках и специально подготовленных бенчмарках; авторы также предупреждают о возможном преимуществе некоторых сравнительных методов из-за совпадения проверяющего и критерия оценки. Прямых испытаний в реальных пользовательских сценариях здесь нет.
- Это препринт, поэтому результаты ещё не прошли независимую экспертную проверку.
- Успех jailbreak-атаки оценивался автоматическими классификаторами на двух тестовых наборах, а не в реальных пользовательских сценариях.
- Для самых защищённых моделей атакующий был отдельно дообучен на каждой из них, поэтому эти результаты не означают одинаковую переносимость атаки между моделями.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено