dumaiПопытки обойти запреты ИИ предложили разбирать как давление на него
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы составили классификацию способов контроля в диалоге и рассмотрели, как их используют запросы, которые навязывают ИИ определённую роль. Подход основан на сопоставлении исследований насилия между людьми, обучения ИИ и способов обхода его ограничений; его проверка не описана.
Зачем это знать?
При оценке безопасности ИИ предложенный подход позволяет рассматривать не только то, выдала ли система запрещённый ответ, но и то, как пользователь пытался его добиться.
Разбор
Авторы различают способы контроля, связанные с физическим воздействием, и способы, которые без него обходятся. Для разговора с ИИ они рассматривают вторую группу.
Затем авторы сопоставляют такие способы с тем, как обучают ИИ и как в запросах ему навязывают роль. Они предлагают смотреть на диалог как на взаимодействие, в котором пользователь пытается управлять поведением системы, а не только оценивать конечный ответ.
Можно ли доверять
Авторы сопоставили исследования отношений между людьми с подходами к обучению ИИ и запросами, которые навязывают ему роль. О проверке на конкретных системах или сравнении результатов они не сообщают, поэтому пока нельзя судить, помогает ли этот подход лучше выявлять попытки обойти ограничения.
- Это препринт без описания эмпирической проверки предложенной классификации.
- Выводы основаны на концептуальном сопоставлении исследований межличностного насилия, обучения ИИ и конкретного класса jailbreak-атак.
- Аннотация не показывает, насколько этот подход лучше существующих методов оценки безопасности ИИ.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено