dumaiПеревод запроса может изменить решение защиты ИИ-агента
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проверили 19 защитных систем на 1 220 шагах агента, меняя только язык запроса. У небольших и специально обученных систем перевод чаще менял решение: для амхарского языка разница в доле изменившихся решений доходила примерно до 4,4 процентного пункта, тогда как у самых сильных систем обычно не превышала одного пункта.
Зачем это знать?
Защита ИИ-агента, проверенная только на английском, может пропустить языковые уязвимости. Вывод пока опирается на один тест и ограниченный набор систем, поэтому показывает риск для дальнейшей проверки, а не готовое правило для всех ИИ.
Разбор
Авторы не сравнивали разные действия агента: они оставили неизменными каждый вызов инструмента, ответ инструмента и правильную оценку безопасности, а переводили только исходную просьбу пользователя. Так можно отделить влияние языка от влияния самого сценария. Для проверки они использовали немецкий, французский, турецкий, суахили и амхарский переводы, а ещё сравнили их с безобидным изменением пробелов и шестью перефразировками на английском. Повторные запуски показали, насколько защита меняется сама по себе даже без перевода.
Картина оказалась не одинаковой для всех систем. Средние открытые модели чаще начинали блокировать безопасные действия, то есть давали ложные тревоги; у небольших моделей, наоборот, встречались пропуски опасных действий. В худшем случае полнота обнаружения атак падала на 7,4 процентного пункта, а число ложных блокировок у одной из моделей росло на 5,0 пункта. Особенно заметно защита менялась на длинных инструкциях со списками. Дополнительный разбор показал: сдвиги чаще возникали там, где рассуждение агента пересказывало исходную просьбу по-английски и расходилось с её переводом. Это похоже на реакцию не на опасность действия, а на несогласованность между частями входных данных.
Важная контрольная проверка дала более спокойный результат: обычное перефразирование на английском почти не сдвигало решения сильнее собственного шума системы. Авторы выложили тестовый набор и 489 тысяч вердиктов, чтобы другие исследователи могли повторить сравнение. При этом работа показывает уязвимость именно проверяемых защитных модулей, а не доказывает, что любой многоязычный ИИ обязательно будет вести себя так же.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, поэтому независимая рецензия ещё не подтвердила результаты. Сильная сторона работы — одинаковые действия, наблюдения и метки при смене только языка, а также проверка на 19 защитах; но выводы относятся к одному набору из 1 220 шагов и конкретным моделям, поэтому их ещё нужно проверить на других агентах и сценариях.
- Работа является препринтом и ещё не прошла независимую экспертную проверку.
- Выводы основаны на 1 220 размеченных шагах из одного бенчмарка и 19 защитных системах, поэтому их обобщаемость ограничена.
- Часть объяснения механизма получена из постфактум-анализа, а не из заранее проверенного эксперимента.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено