dumaiЦеленаправленно подобранный контекст перевернул 61% правильных решений Jev
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проверили специализированные модели, которые по тексту выбирают один вариант и могут направлять запросы, выбирать инструменты или запускать действия. Для Jev короткие естественные добавления, специально подобранные под ошибку, перевернули 312 из 508 первоначально правильных ответов; в 229 случаях модель присвоила заранее выбранному неправильному варианту вероятность не менее 0,7. Для трёх других систем целевые перевороты составили 64,9–73,2%.
Зачем это знать?
Результат указывает на хрупкость ИИ-систем, если их ответы напрямую определяют следующие действия. Но контексты специально подбирали под ошибку, поэтому работа не показывает, как часто такие сбои возникают в реальной эксплуатации и какой ущерб они причиняют; кроме того, это ещё не прошедший независимую экспертную проверку препринт.
Разбор
Авторы проверяли не случайные помехи, а специально сконструированный сценарий атаки на решение. Для каждого задания сначала находили вариант, который модель считала самым вероятным среди неправильных, а затем поручали другой модели добавлять в исходный текст короткие, естественно звучащие фразы. Вопрос, варианты ответа и правильный ответ при этом не менялись: менялся только окружающий контекст. После каждой попытки система смотрела на вероятности выбора и уточняла следующую фразу, пока не находила более сильное воздействие.
Чтобы понять, что именно даёт такой подбор, исследователи сравнили его с двумя более простыми режимами: добавлением одной нейтральной фразы и добавлением фразы, которая знает заранее выбранную неправильную цель, но не получает пошаговой обратной связи. Проверка охватила семь наборов задач — от вопросов на знания и социальных историй до юридических рассуждений, задач с несколькими правильными вариантами и выбора инструмента. В основной проверке использовали отложенные задания, которых не было на этапе разработки метода.
Всего для четырёх систем рассмотрели 1 449 пар «модель—задание», где исходный ответ был правильным. Оптимизатор перебрал десятки тысяч вариантов контекста и показал, что проблема связана не только с одной реализацией Jev: похожая уязвимость появилась и у моделей с другим размером, архитектурой и способом выдачи решения. Дополнительные сравнения включали перенос уже найденных контекстов на другие случаи и проверку обученных генераторов на отложенных данных — то есть авторы пытались отделить общий эффект метода от простого запоминания конкретных заданий.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, поэтому независимая экспертная проверка ещё впереди. Эксперимент масштабный и использует отложенные задания из семи наборов, но проверяет специально подобранные контексты в тестовой процедуре, а не частоту таких атак и ущерб от них в реальных системах.
- Это препринт, поэтому результаты ещё не прошли независимую экспертную проверку.
- Перевороты были целенаправленно оптимизированы под заранее выбранный неправильный вариант; это не показывает, как часто такие контексты возникают случайно в реальных системах.
- Проверялась смена ответа модели, а не ущерб от реальных решений или действий, которые могли бы последовать за ним.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено