dumaiПрепринт — материал ещё не прошёл рецензирование
Автономные ИИ-агенты для offensive security усиливают преимущество атакующих
Кратко
Авторы разбирают автономных агентов на базе больших языковых моделей, которые помогают искать и использовать слабые места в защите. Они считают, что такие системы делают вредоносные возможности дешевле и доступнее, а ещё сильнее размывают ответственность между пользователем, создателями инструмента и третьими сторонами.
Зачем это знать
Авторы предлагают пересмотреть подходы к кибербезопасности и этике, потому что старые рамки плохо описывают этот тип инструментов.
Разбор
Авторы берут знакомую для кибербезопасности ситуацию — тестирование на проникновение — и смотрят, что меняется, когда такие инструменты начинает вести не человек шаг за шагом, а автономный агент на большой языковой модели. Их интересует не только сам факт автоматизации, а то, что у таких систем поведение заранее не всегда предсказуемо: они могут по-разному выбирать действия, их эффект трудно ограничить заранее, а цепочка создания инструмента часто состоит из нескольких слоёв и поставщиков, из-за чего становится сложнее понять, кто за что отвечает.
Чтобы разобраться с этим, авторы сопоставляют новые агентные инструменты с традиционными средствами для пентестов — теми, что работают по чётким правилам и обычно находятся в руках подготовленных специалистов. На этом контрасте они показывают, что барьер входа для наступательных возможностей заметно снизился: теперь их легче и дешевле запускать, а значит, атакующие получают преимущество быстрее, чем защитники успевают перестроиться.
Отдельный фокус статьи — ответственность. Авторы разбирают, как она «расплывается» между пользователем, создателями модели, разработчиками надстроек и другими участниками цепочки. Из-за этого старые этические и кибербезопасностные рамки, которые хорошо работали, когда был виден конкретный человек и конкретный инструмент, здесь начинают буксовать. В ответ авторы предлагают не одну универсальную формулу, а набор рекомендаций для разных групп участников и призывают к осторожности там, где последствия пока трудно просчитать.
Можно ли доверять
Это препринт на arXiv, то есть статью ещё не прошли независимое рецензирование. Она опирается на разбор литературы и этический анализ, а не на эксперимент с пользователями или большим набором данных, поэтому выводы сильны как аргументация, но не как измеренный эффект в реальном мире.
Пересказано ИИ по научной статье. Как это устроено