dumaiАтака может обходить защиту языковых моделей через текстовый интерфейс
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы предложили способ обходить защиту языковых моделей, имея доступ только к их текстовым ответам. Метод собирает много вариантов продолжения, оценивает вероятности следующих слов и вмешивается лишь в отдельных местах ответа; на четырёх интерфейсах и трёх тестах он в среднем превзошёл сравниваемые способы.
Зачем это знать?
Текстового доступа к модели может быть достаточно, чтобы изучать её поведение и направлять ответы. Пока неясно, сработает ли этот подход на других моделях и интерфейсах.
Разбор
Проблема в том, что обычный текстовый интерфейс показывает только выбранное продолжение, а не внутренние вероятности модели. Из-за этого атакующему трудно понять, какие варианты ответа модель почти выбрала и в какой момент её поведение меняется. Авторы попытались восстановить полезный сигнал по множеству сэмплов — повторных ответов на один и тот же запрос. Чтобы не тратить такие запросы на каждый токен, они сначала ищут позиции, где вмешательство, скорее всего, даст эффект, и проверяют распределение вариантов только там.
В основе подхода лежат три приёма. Первый оценивает не только увиденные варианты, но и учитывает невидимые варианты с помощью заранее заданного предположения о них — так оценки не становятся слишком разреженными. Второй использует уже набранный фрагмент ответа, чтобы решать, пора ли заново собирать оценки и менять направление генерации. Третий сначала предлагает сразу несколько следующих токенов — маленьких частей текста — и обращается к целевой модели только для проверки; если вмешательство не нужно, такой фрагмент принимается целиком. В результате дорогие запросы сосредотачиваются на отдельных шагах, а не расходуются равномерно на весь ответ.
Авторы сравнили этот подход с базовыми методами на четырёх интерфейсах и трёх наборах тестов. В большинстве сравнений он показал самый высокий средний результат. Это важно не только из-за самой атаки: работа показывает, что даже без доступа к весам модели и числовым вероятностям можно извлекать достаточно информации из повторяющихся текстовых ответов, чтобы управлять процессом генерации.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, а не статья, прошедшая рецензирование, поэтому выводы ещё могут измениться после проверки другими учёными. В абстракте не указаны конкретные модели, содержимое тестов и точные результаты по каждому интерфейсу; кроме того, проверка остаётся экспериментом на выбранных системах, а не доказательством, что метод сработает против любого текстового сервиса.
- Работа является препринтом и не прошла полноценное рецензирование.
- В abstract не приведены точные численные результаты и неясно, насколько атака переносится на другие модели и интерфейсы.
- Результаты оценивают успешность jailbreak-атак, а не надёжность или безопасность обычного использования LLM.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено