Передача только числовых обновлений обучения может раскрыть траекторию навигационного агента

Атака TRACE смотрит не на один градиент, а на их упорядоченную последовательность. Градиент — это числовая подсказка о том, как изменить модель после очередного шага обучения. Авторы заметили: соседние подсказки связаны между собой, потому что агент движется по одной сцене, а не видит случайные кадры. TRACE использует эту связь и шаг за шагом восстанавливает не только отдельные изображения, но и последовательность наблюдений вместе с действиями.

У метода есть и второй приём: по устройству градиента в выходной части политики можно напрямую определить выбранное дискретное действие. Авторы показывают, что это восстановление становится точным, если регуляризация энтропии — добавка, которая поощряет случайность поведения, — достаточно мала. В тестах TRACE превзошёл обучаемый базовый метод примерно на 2 дБ по качеству восстановления и оказался быстрее оптимизационных атак на порядки.

Проверка прошла на отложенных сценах в AI2-THOR — симуляторе, где агент ищет цель в помещениях. Метод сработал не только для исходной сверточной сети: авторы также проверили рекуррентные сети, остаточные архитектуры и компактный трансформер, а ещё разные типы входных данных и большее число дискретных действий. При этом простое удаление части чисел и их умеренное округление оставили заметную утечку, поэтому авторы считают, что защита должна учитывать всю временную последовательность обновлений.