Удаление 20% примеров снизило успешность атак на защиту на величину до 22%

Проблема здесь в том, что опасное влияние на будущую модель может скрываться в безобидных на вид заданиях. Авторы не пытались искать «плохие» слова или темы. Вместо этого они смотрели, какие изменения параметров модели вызвал бы каждый пример при обучении, и сравнивали эти изменения с изменениями от набора явно небезопасных ответов. Если направления совпадали, пример считали потенциально связанным с ослаблением защиты.

Для этого они упростили метод LoRIF — способ хранить влияние отдельного примера на обучение в компактном виде — и считали градиенты только для последних четырёх блоков модели. Градиент здесь можно понимать как подсказку: в какую сторону пример толкает поведение модели. Такой компромисс сделал проверку достаточно быстрой для почти миллионного набора данных, хотя авторы не анализировали все параметры модели целиком.

Сначала метод проверили на другом эффекте: после обучения на примерах с небезопасным кодом у модели появлялись более общие вредные склонности. В пространстве таких градиентных представлений метод отделял связанные с этим примеры от остальных с AUC до 0,865 — это мера качества ранжирования, где 1 означает идеальное разделение, а 0,5 — примерно случайное. Затем тот же подход применили к Tulu 3 и обнаружили среди удалённых примеров не только очевидные источники риска, но и менее изученные категории: сбои при выполнении инструментов и арифметические сюжеты в текстах. Авторы также подготовили версию SafeTulu и онлайн-инструмент, где можно менять долю удаления или фильтровать только отдельные поднаборы.