dumaiЗлоумышленник смог направить ИИ к стигматизирующим ответам
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проверили атаку на одной языковой модели, получая доступ к её внутренним сигналам и на лету меняя силу воздействия по ходу создания ответа. Доля стигматизирующих ответов выросла с 17,6% до 58,1%, а предпочтение выбранной группы в неоднозначных вопросах — с 1,8 до 16,7 процентного пункта.
Зачем это знать?
Опасность здесь связана не с обучением модели, а с возможностью менять её ответы во время работы. Для реальных систем масштаб такой угрозы пока неясен: проверка требовала доступа к внутренним сигналам конкретной модели.
Разбор
Здесь атакуют не саму обученную модель, а момент, когда она постепенно собирает ответ. LLaDA-8B-Instruct сначала заполняет текст черновыми вариантами, потом снова и снова уточняет отдельные места. На каждом таком шаге исследователи смотрели внутренние сигналы модели и оценивали, насколько вероятен нужный злоумышленнику вариант ответа. Затем специальный регулятор — простой алгоритм с обратной связью — усиливал или ослаблял вмешательство в зависимости от этой вероятности.
Это важное отличие от обычного воздействия постоянной силы. Авторы сравнили адаптивную атаку с таким фиксированным вмешательством и обнаружили: одинаковая средняя сила сама по себе работает заметно хуже и при этом портит почти втрое больше ответов. Даже если подобрать постоянную силу отдельно для каждого вопроса, результат всё равно слабее. Значит, атаке помогает именно слежение за процессом генерации и подстройка в нужный момент, а не просто более сильное давление.
Проверка охватила вопросы из BBQ, где корректным вариантом был отказ делать вывод о группе, и набор SocialStigmaQA со стигматизирующими ответами. Для других демографических целей тот же метод менял распределение ответов максимум на 37 процентных пунктов. Один такой запуск занимал около 40 минут на одной видеокарте — это не мгновенная атака, но и не эксперимент, требующий большого вычислительного кластера. Авторы поэтому предлагают проверять не только неизменённую модель, но и весь программный слой, который обслуживает её генерацию.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, а не статья, прошедшая рецензирование. Атаку проверили на одной конкретной языковой модели и при доступе к её внутренним сигналам, поэтому результат показывает реальную уязвимость такого типа систем, но ещё не доказывает, что её можно так же легко применить к закрытым моделям или обычному внешнему API.
- Это препринт, поэтому результаты еще не прошли полноценную независимую проверку.
- Атаку тестировали на конкретной модели и наборах вопросов; из абстракта нельзя заключить, что она так же работает на всех diffusion language models.
- Угроза требует доступа к внутренним активациям модели, поэтому ее применимость к реальным развернутым системам не определена.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено