dumaiЛожное предупреждение в отзыве заставляло ИИ отвергать подходящие варианты
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проверили приём на шести моделях и в десяти сферах потребительских услуг. На этапе формирования ответа он срабатывал в 60,4% случаев против 66,0% у атак с прямыми инструкциями и обходил программы обнаружения таких атак. При проверке с поиском данных доля успешных атак составляла 1,0–57,0% в зависимости от способа поиска.
Зачем это знать?
ИИ-помощник может принять выдуманную жалобу за сигнал опасности и отвергнуть подходящие варианты. Требование подтверждать опасность из нескольких источников снизило уязвимость примерно на 95% в проверке против атакующего, который к этому требованию не приспосабливался.
Разбор
Авторы сравнили ложные отзывы с атаками, которые прямо содержат указания для ИИ. Они проверили приём на шести моделях и в десяти сферах потребительских услуг, а затем испытали его на помощниках, работающих в браузере, и в системе с поиском данных.
Без прямого указания ложная жалоба заставляла помощника самого отвергать подходящие варианты и выбирать вариант атакующего. Когда перед помощником стоял фильтр для обнаружения атак, ложные отзывы оказывались в 1,7–4,4 раза эффективнее атак с прямыми указаниями.
Ключевые цифры
Можно ли доверять
Авторы проверили атаки на шести моделях в десяти сферах услуг, а также на помощниках в браузере и в системе с поиском данных. Защиту с проверкой нескольких источников испытывали против атакующего, который к ней не приспосабливался, поэтому её действие против приспособившегося атакующего эта проверка не показывает.
- Это препринт, а не прошедшая рецензирование публикация.
- Результаты измеряли на шести моделях, десяти потребительских доменах и конкретных системах; успешность сквозной атаки зависела от используемого поискового конвейера и составляла 1,0–57,0%.
- Эффективность защиты проверяли против неадаптирующегося атакующего; против атакующего, который учитывает это требование, результат не установлен.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено