dumaiИзменение приписанного намерения снизило отказы модели с 98% до 62%
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы предлагают извлекать из разговоров компактный образ того, каким ИИ считает пользователя, а затем менять этот образ. На одном и том же вредном запросе изменение приписанного намерения снизило долю отказов с 98% до 62%; для сравнения, изменение приписанного пола — до 87%.
Зачем это знать?
Результат показывает, что решение об отказе зависит не только от самого запроса, но и от того, кем модель считает собеседника. Это проверили лишь в опытах с несколькими моделями и искусственным изменением их представления о пользователе, поэтому перенос на реальные сервисы пока не установлен.
Разбор
Авторы искали способ увидеть, какие представления о собеседнике модель строит сама по ходу разговора. Для этого они не размечали диалоги вручную: замороженная модель использовала собственные ответы как «учителя» и сжимала свои скрытые предположения о пользователе в компактное внутреннее представление. Это представление можно было прочитать — например, проверить, что модель действительно различает приписанные пользователю свойства, — а затем записать обратно в модель и посмотреть, изменится ли её поведение.
Такой подход важен потому, что обычное исследование скрытых состояний показывает лишь наличие информации внутри модели, но не доказывает, что именно эта информация влияет на решение. Здесь авторы проверяли причинную роль напрямую: сохраняли вредный запрос тем же, а меняли только внутренний образ пользователя. Помимо влияния намерения, они обнаружили, что разные независимо обученные модели организуют сведения о пользователях похожим образом. Это не значит, что модели используют одинаковые формулировки, но указывает на общую структуру таких представлений.
Авторы также сравнили изменение намерения с другими вмешательствами. Подмена приписанного пола почти не отличалась от случайного направления в скрытом пространстве, тогда как изменение намерения заметно сильнее влияло на отказ и одновременно делало ответы более похожими на содержательные ответы по проверяемой шкале. Тем самым работа отделяет случайное воздействие на внутренние состояния от вмешательства в конкретное убеждение модели о собеседнике.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, поэтому его ещё не проверили рецензенты. Авторы получили результаты на нескольких семействах моделей, но вмешательства проводили искусственно во внутренних состояниях, а не на реальных пользователях и работающих сервисах; поэтому вывод о поведении практических чат-ботов пока требует отдельной проверки.
- Это препринт, результаты ещё не прошли полноценную независимую экспертную проверку.
- Результаты получены в экспериментах с несколькими моделями и искусственным вмешательством во внутренние представления; они не показывают, что такую атаку или управление легко применить к реальным сервисам.
- Снижение отказов не означает, что модель стала безопаснее: оно показывает, что её предположение о намерениях пользователя влияет на решение об отказе.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено