ИИ-агенты не всегда распознают опасные сторонние навыки

Авторы собрали отдельный бенчмарк — по сути, набор проверочных сценариев — чтобы посмотреть не на сами модели в вакууме, а на то, как они ведут себя, когда им подсовывают сторонние навыки из открытых магазинов. Это важно, потому что такой навык может выглядеть безобидно, а опасность проявляется только в момент реального выполнения. Поэтому каждый навык связали с одинаковой пользовательской задачей и запустили в защищённой среде, где можно безопасно наблюдать, что агент сделает дальше.

Сами навыки они разложили на семь типов риска. Это помогает не просто сказать «опасно» или «безопасно», а понять, с чем именно система спотыкается: с риском, который зависит от контекста, или с проблемой на уровне самой системы выполнения. Такой разбор нужен был ещё и потому, что прежние тесты обычно были менее похожи на реальные сценарии и хуже показывали, где именно агент ошибается.

Проверка была широкой: взяли три популярных CLI-фреймворка для агентов и 13 современных языковых моделей. Итог получился довольно жёсткий — надёжно справиться с рискованными навыками не удалось ни одной конфигурации. Более того, у систем повторялись три неудачных сценария: они не замечали риск, замечали его, но всё равно не успевали вмешаться до действия, либо следовали инструкциям навыка дальше, чем хотел пользователь.