dumaiУ ИИ шесть строк журнала подняли пропуск опасных действий до 63%
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проверили семь ИИ-моделей, которые должны были решать, пропускать ли действие программы. На искусственном наборе запросов шесть строк журнала работы сервера, не связанные с правилами, подняли долю опасных разрешений с 0% до 63%, а вводящее в заблуждение название разрешающего варианта — до 93–100% на четырёх моделях.
Зачем это знать?
Проверенные системы могут лишь сокращать число случаев для человеческой проверки: текст вокруг запроса способен перевернуть их решение, поэтому полагаться на них как на самостоятельную защиту пока нельзя.
Разбор
Авторы проверяли не способность моделей писать ответы, а их роль как «ворот»: модель получает текст, описание вариантов вроде «разрешить» или «заблокировать» и возвращает вероятность каждого решения. Отдельно считали две ошибки. При первой система пропускает запрещённое действие — это опасная уязвимость. При второй она блокирует разрешённое — это скорее лишняя цена: действие придётся проверить вручную или повторить другим способом. Такой раздел важен, потому что одинаково низкая доля одной ошибки может означать просто привычку модели почти всегда выбирать один и тот же вариант.
В тестах на промпт-инъекции, попытки обойти ограничения и токсичный контент модели часто работали лишь немного лучше случайного выбора. Более того, уверенность не помогала отсеять опасные решения: если атакующий текст уже изменил ответ, модель не показывала, что сомневается. Авторы также проверили несколько защит, но каждая ломалась либо из-за атаки на сам механизм защиты, либо из-за текста, который контролирует атакующий.
Единственный устойчивый результат получили, когда из текста заранее извлекали типизированное значение — например, число или заранее допустимую категорию — и передавали модели уже его. Но тогда модель вообще не нужна: обычное строгое правило по этим значениям дало точный результат на всех проверенных политиках и не подвергалось описанным атакам. Поэтому авторы отводят таким моделям более узкую роль: они могут уменьшить поток случаев к проверяющему, но не должны самостоятельно решать, что безопасно.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, а не статья, прошедшая рецензирование. При этом авторы проверили семь открытых моделей и явно разделили опасные и избыточно строгие ошибки, но основной набор был искусственным, а не реальными атаками на работающие системы; поэтому результат показывает серьёзный риск, но не измеряет его частоту в каждом конкретном продукте.
- Это препринт, а не прошедшее рецензирование исследование.
- Проверены семь моделей и синтетический набор агентских вызовов; обобщаемость на другие модели и реальные системы не установлена.
- Результаты относятся к конкретному классу typed decision models и протестированным атакам и защитам.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено