dumaiЗащиты от копирования рассуждений могут ослабнуть после обучения с поощрением
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проверили, что происходит с защитами закрытых языковых моделей после дополнительного обучения, в котором модель получает поощрение за нужный результат. Простые атаки с данными, доступными через API, дали сопоставимое улучшение способности решать задачи рассуждением — как и более сложные атаки, извлекающие скрытые рассуждения модели. Особенно уязвимы защиты, оставляющие достаточно подсказок для восстановления приблизительного хода рассуждений.
Зачем это знать?
Защиты закрытых ИИ-моделей, которые выдают подсказки о ходе рассуждений, могут создавать ложное чувство безопасности: даже доступных через API ответов иногда достаточно, чтобы восстановить похожие способности после дополнительного обучения. Вывод сделан на конкретных моделях и настройках, поэтому его нельзя автоматически переносить на все системы.
Разбор
Авторы проверяли не только результат копирования сразу после обучения, а более реалистичный сценарий: сначала модель учится на ответах закрытой системы, затем проходит дополнительное обучение с поощрением за правильные решения. Такой второй этап может научить модель лучше использовать неполные подсказки, поэтому защита, которая выглядела рабочей в коротком тесте, позже перестаёт мешать копированию способностей.
В отдельных экспериментах они специально портили ответы модели-учителя, чтобы проверить защиту от копирования. Небольшое или умеренное ухудшение почти не помогало: после дополнительного обучения модели-ученики часто догоняли вариант, получивший чистые данные. Сильное отравление данных действительно снижало итоговый результат, но одновременно заметно портило и самого учителя — такой способ защиты может оказаться слишком дорогим для практического применения.
Например, у базовой модели Qwen2.5-0.5B средний результат на трёх наборах задач после дополнительного обучения вырос с 24,3% до 40,3% даже без скопированных рассуждений. При слабом и умеренном отравлении он достигал 40,8% и 41,3%, то есть почти не уступал чистому варианту. На более крупной Llama-3.2-3B защита начинала заметно снижать результат ученика только тогда, когда точность учителя падала как минимум на 10%; авторы отдельно отмечают, что в некоторых настройках такая защита всё же срабатывала.
Ключевые цифры
Можно ли доверять
Это препринт arXiv, а не статья, прошедшая независимое рецензирование. Эксперименты проверяли на конкретных языковых моделях и тестах, а не в реальных продуктах; кроме того, результаты заметно зависели от силы отравления данных, поэтому их нельзя автоматически переносить на все способы защиты.
- Это препринт, поэтому результаты ещё не прошли полноценную независимую проверку.
- Выводы основаны на экспериментах с конкретными моделями, наборами задач и настройками обучения; их переносимость на другие системы не показана.
- Сильное отравление данных действительно снижало итоговую эффективность, поэтому не все проверенные защиты оказались полностью бесполезными.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено