Обучение с подкреплением помогает редактировать нейросети точнее

Авторы не стали придумывать новый алгоритм редактирования модели под каждую задачу. Вместо этого они собрали две учебные среды для агента, который видит веса нейросети и может их менять: в одной среде он умножает веса на константу, в другой — прибавляет к ним константу. После каждого шага агент получает новую версию весов и награду, которая показывает, насколько хорошо он одновременно двигается к нужной правке и не ломает общую работу модели.

Зачем это вообще понадобилось? Потому что обычное редактирование нейросетей часто требует отдельного специального метода под каждую цель — например, чтобы убрать нежелательную информацию или снизить смещение в ответах. Это долго и неудобно, особенно если хочется один и тот же подход применять к разным задачам. Здесь авторы проверили идею: можно ли научить политику редактирования напрямую по награде, как в обычном обучении с подкреплением, вместо ручной сборки алгоритма под каждую проблему.

Проверяли это на двух знакомых сценариях: удаление информации из модели и снижение bias, то есть систематического перекоса в классификации текста. В задаче удаления знаний агент почти полностью «забыл» целевой класс и при этом сохранил качество на остальных данных: точность на наборе для удаления упала почти до нуля, а на сохраняемом наборе осталась выше 90%. В задаче со смещением политики тоже сработали: качество по показателю, связанному с bias, улучшилось более чем на 5%, и при этом общая полезность модели не просела. Интересная деталь — агент учился только на 15% обучающих данных MNIST, но потом его поведение неплохо перенеслось на тестовые данные, которые он раньше не видел.