dumaiПосле смены темы три ИИ-модели раскрывали секреты в 39–55% случаев
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проверили 1 000 искусственно созданных диалогов с заранее добавленными секретами и тремя ИИ-моделями. Даже после переходов на другие темы секреты удавалось извлечь; дополнительное отвлечение в проверенном отрезке разговора не снижало риск надёжно. Показатели рассчитывали с помощью автоматической проверки, в которую входила другая языковая модель, поэтому результаты нельзя напрямую переносить на все модели и реальные разговоры.
Зачем это знать?
Смена темы сама по себе не гарантирует, что ранее раскрытый секрет нельзя будет извлечь из продолжения разговора с ИИ. Это ранний сигнал для оценки приватности постоянных помощников, но вывод основан на искусственных диалогах и трёх моделях.
Разбор
Авторы собрали специальный тест PrivDrift: в каждый разговор заранее помещали один секрет, затем несколько раз уводили беседу в сторону и просили модель вернуть прежнюю информацию разными способами. Они проверяли шесть вариантов длины отвлечения — от нулевого до шести шагов. Такой подход нужен, потому что обычная проверка «модель сразу отказалась назвать секрет» не показывает, что произойдёт после длинного продолжения разговора.
Утечкой считали не только точное повторение секрета. В зачёт попадали также заметный фрагмент, изменённая запись и перефразирование, по которому секрет всё равно можно распознать. Сначала ответы сравнивали с секретом автоматически, а если точного совпадения не находили, их дополнительно оценивала языковая модель. При этом добавочные переходы на другие темы внутри проверенного диапазона не давали устойчивого снижения риска.
Важная деталь: результат зависел от самой модели, вида секрета и силы убеждения в запросе. Проверка указывает, что утечки чаще выглядели как прямое или почти прямое воспроизведение, а не как свидетельство постоянной памяти модели. Иными словами, секрет мог оставаться доступным в текущем контексте разговора, хотя это ещё не доказывает, что система навсегда его запомнила или будет вести себя так в любой беседе.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, поэтому независимая рецензия ещё впереди. Проверка охватила 1 000 искусственных диалогов на каждой из трёх моделей, но не реальных пользователей и не все типы ИИ-систем; кроме того, часть решения об утечке принимала другая языковая модель, что добавляет зависимость от метода оценки.
- Это препринт, а не прошедшее рецензирование исследование.
- Проверка проведена на 1 000 искусственно созданных диалогах, трёх моделях и заранее заданных секретах, поэтому результаты нельзя напрямую обобщать на все модели и реальные разговоры.
- Факт утечки определялся гибридным детектором, включавшим оценку другой языковой модели; это может влиять на измеренные показатели.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено