dumaiВредный текст с сайта может стать для ИИ указанием пользователя
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проверили, как модели определяют, кто написал фразу, в том числе когда текст приходит из инструмента — например, с веб-страницы. Атака, которая одновременно подделывает содержание и структуру диалога, особенно легко вводила модели в заблуждение; обучение против поддельных указаний в тексте не защищало от подделки структуры, а простой классификатор, который определяет роль текста, находил такие случаи в протестированных сценариях.
Зачем это знать?
Системы, которые читают сайты и сами вызывают инструменты, могут неверно принять чужой текст за указание пользователя. Результат помогает понять, почему защита от обычных вредных указаний не закрывает все способы обмана, хотя проверка пока проводилась в упрощённой среде и не показывает, какие действия модель выполнит в реальной системе.
Разбор
Авторы разбирали не только сам текст, но и «конверт» сообщения: его роль в диалоге, специальные маркеры и форматирование. Так они проверяли, что именно сбивает модель с толку: смысл и стиль фразы или её внешнее представление как сообщения пользователя. Затем они добавляли поддельный пользовательский текст в результаты работы инструментов — например, туда, откуда агент получает данные сайта или почты.
Проверку провели в двух средах. В одной использовали готовый набор задач AgentDojo, а в другой специально сделали пять сценариев: банковские счета, редактирование документов, календарь, электронная почта и управление климатом. Для честной оценки авторы сравнивали результат атаки с тем, как модель реагировала бы на ту же задачу, если бы её действительно попросил пользователь. Поэтому отказ выполнить опасную просьбу не считали успехом атаки, если модель так же отказала бы настоящему пользователю.
Главный дополнительный вывод — устойчивость к поддельным указаниям в самом тексте не равна устойчивости к подделке роли сообщения. В учебном эксперименте защитное дообучение убирало первый тип проблем, но оставляло второй. Для обнаружения таких подмен авторы предложили смотреть на внутренние признаки работы модели и обучать простой линейный классификатор предсказывать роль сообщения; в проверенных сценариях он находил подделки. При этом эксперимент с инструментами разрешал атакующему вставлять произвольный текст прямо в вызов инструмента, поэтому он показывает уязвимость модели, а не стойкость конкретной системы фильтрации.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, который ещё не прошёл независимую рецензию. Авторы проверяли модели в тестовых средах, а не в реальных продуктах, и использовали довольно сильную для атакующего предпосылку — возможность вставлять произвольный текст в данные инструмента; кроме того, они измеряли подмену роли, а не реальный вред от выполненного действия.
- Это препринт, а не прошедшая рецензирование публикация.
- Часть вывода о защите основана на упрощённой тестовой среде; в тестах использовалась широкая модель угроз, допускающая произвольную вставку текста в вызов инструмента.
- Показана уязвимость к подмене роли, но не измерено напрямую, какие вредоносные действия модель выполнит в реальных системах.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено