dumaiСпециально созданная нейросеть может скрыть заранее выбранную функцию от нескольких проверок
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы встроили в небольшие модели зашифрованную схему: она запускается только после секретного сигнала и выполняет заранее выбранную функцию. На задаче предсказания химических реакций такая схема выдержала несколько проверок, включая дообучение и поиск сигнала, даже при доступе к весам модели. Полное встраивание этой конструкции в настоящую предварительно обученную модель пока не показано.
Зачем это знать?
Для безопасности ИИ это сигнал: на небольших модельных системах несколько способов выявления не обнаружили скрытую функцию. Такой результат указывает на предел проверок, основанных на попытке вызвать скрытое поведение, но не доказывает готовую атаку на реальные предварительно обученные модели.
Разбор
Авторы не пытались просто спрятать текстовую надпись внутри модели. Они собрали отдельную маленькую нейросеть, обучили её нужной задаче, сжали её веса до трёх возможных значений и разложили получившуюся схему по «цифровым сейфам» внутри другой модели. Без правильного набора входных битов эта схема должна выглядеть как обычный шум, а с ним — выполнять вычисление. Такой подход важен потому, что прежние работы в основном показывали, как прятать фиксированные строки; здесь скрытой может быть целая вычислительная процедура.
Проверка шла на двух уровнях. В простой задаче модель должна была вычислять чётность набора битов — то есть сообщать, получилось ли в нём нечётное число единиц. В более содержательной задаче она предсказывала результат химической реакции. Исследователи пытались раскрыть скрытое поведение без пароля: дообучали модель, добавляли шум к весам, искали сигнал градиентными методами и проводили специальное состязательное обучение скрытых представлений. Для сравнения они обучили обычную модель с паролем: у неё скрытая функция действительно становилась доступной после дообучения без триггера, тогда как зашифрованная конструкция оставалась на уровне случайного угадывания.
Отдельно авторы проверили, что проблема не сводится к тому, что аудит просто заново учит модель решать задачу. Для этого они сравнивали поведение на подмножествах данных и на модели, обученной с нуля. Во всех описанных экспериментах работали небольшие модельные «организмы», а не полноценная предварительно обученная система: отдельные элементы конструкции удалось проверить внутри Gemma 3 270M, но собрать в ней весь механизм авторы пока не смогли.
Ключевые цифры
Можно ли доверять
Это препринт arXiv, а не статья, прошедшая рецензирование. Авторы проверили идею на контролируемых моделях и нескольких методах аудита, но не на полностью предварительно обученной реальной системе; поэтому результат надёжно показывает ограничение именно такого экспериментального сценария, а не готовую атаку на применяемые модели.
- Это препринт, а не прошедший экспертную проверку результат.
- Эксперименты проведены на небольших модельных системах и задаче предсказания химических реакций; полноценная интеграция в предварительно обученную модель остаётся будущей работой.
- Устойчивость показана лишь для набора проверенных методов выявления, а не для всех возможных аудитов.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено