dumaiСпециальная метка в чат-шаблоне усиливает атаки на модели
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проверили, как чат-модели воспринимают одну и ту же вредную инструкцию, если она оформлена особой служебной меткой — специальным знаком формата диалога — или обычным текстом. В трёх из четырёх семейств открытых моделей замена метки на обычный текст снизила успешность атак на 39–66 процентных пунктов. Настройка защиты не охватила все служебные знаки: уязвимость сохранилась через знаки для обмена с инструментами в 33 из 67 конфигураций, охватывающих 255 из 400 самых скачиваемых чат-моделей.
Зачем это знать?
Уязвимость может сохраняться для служебных знаков, которые настройка не охватывает; атакующий также может искать обычные знаки с похожим влиянием на модель. Вывод основан на ограниченном наборе открытых моделей и требует независимой проверки.
Разбор
Авторы сравнили два способа передать модели одну и ту же поддельную служебную метку. В одном случае она попадала в модель как один специальный токен с собственным «выученным смыслом», в другом — как несколько обычных кусочков текста. Сам текст при этом оставался одинаковым, а лишние токены учитывали отдельно, поэтому разницу нельзя просто списать на длину инструкции. Это важно потому, что сервер сам решает, как разбить вход на токены: защитник может изменить представление атаки, даже если злоумышленник прислал тот же текст.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, поэтому работу ещё не проверили независимые рецензенты. Авторы тестировали открытые модели на специальных бенчмарках и агентских задачах, а не в реальных продуктах; кроме того, результат зависит от конкретной токенизации и набора моделей.
- Это препринт, поэтому результаты ещё не прошли полноценную независимую проверку.
- Выводы основаны на бенчмарках InjecAgent и AgentDojo и проверены на ограниченном наборе открытых семейств моделей.
- Замена служебных токенов на обычные субтокены не является полной защитой: адаптивный атакующий может искать близкие по представлению обычные токены.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено