Небольшие нейросети выдали, в каком порядке их учили на разных наборах картинок
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы обучали небольшие сети на трёх наборах изображений. По итоговым настройкам удалось выбрать исходные настройки всех 30 сетей из десяти вариантов и определить порядок двух предыдущих задач. Полностью восстановить историю обучения не удалось.
Зачем это знать?
Прошлое обучения может оставлять различия между нейросетями, даже когда они освоили одну и ту же задачу. Для современных крупных моделей такой след не проверяли.
Разбор
Порядок прежних задач проверили на сетях, которые не участвовали в подборе способа проверки. После десяти проходов по данным последней задачи порядок двух предыдущих определили без ошибок на всех 80 сетях.
Начальные настройки оставляли след и в том, как сети обрабатывали изображения. Если сети начинали с одинаковых настроек, этот след оставался узнаваемым, даже когда изображения при обучении подавали в разном порядке.
После изменения настроек сети снова учились правильно распознавать изображения, но не возвращались к прежнему пути обучения. Это наблюдали на разных наборах изображений, при вмешательстве в разное время и на разных уровнях сети.
Ключевые цифры
Можно ли доверять
Авторы провели опыты с небольшими сетями на трёх наборах изображений; порядок двух предыдущих задач проверили на 80 отдельных сетях. Это показывает, что след обучения можно обнаружить в таких условиях, но для современных крупных моделей его здесь не проверяли.
- Результаты получены в препринте, а не в прошедшей рецензирование статье.
- Все анализы основаны на небольшой полностью связанной сети с двумя слоями и трёх наборов изображений; применимость к современным крупным моделям не показана.
- Работа использует вычислительные эксперименты, поэтому она демонстрирует обнаруживаемые закономерности, но не устанавливает их универсальность.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено