dumaiИИ запоминает обучающую сеть ещё до появления структуры групп
Препринт, ещё не рецензирован · ранние данные
Кратко
Модели, которые учатся восстанавливать сети после добавления шума, проверили на искусственных сетях с двумя группами. Из зашумлённой версии знакомой сети они восстанавливали её почти идеально — заметно лучше, чем такую же невиденную сеть. Обычные проверки новых сетей этого запоминания не замечали, а ранняя остановка обучения не помогала.
Зачем это знать?
Скрытое запоминание не видно в привычных проверках новых сетей и обнаруживается только при специальном восстановлении зашумлённой обучающей сети. Вывод пока относится к искусственным, а не к реальным сетям.
Разбор
Авторы проверяли модель не только по тому, какие новые сети она умеет создавать, но и по тому, как она восстанавливает знакомую сеть. Сначала они брали исходный граф, случайно удаляли часть связей, а затем запускали обратный процесс: модель шаг за шагом пыталась вернуть граф к чистому виду. Тот же эксперимент проводили с новой сетью из того же семейства, которую модель никогда не видела. Если восстановление первой сети заметно точнее, это указывает на скрытое запоминание, даже когда обычные образцы выглядят новыми.
Для проверки использовали искусственные сети с двумя сообществами — группами узлов, внутри которых связи встречаются чаще, чем между группами. Исследователи смотрели, как меняется поведение модели по мере обучения. Оказалось, что разрыв между обучающими и новыми сетями растёт: ошибка на знакомом графе уменьшается, а на новых начинает увеличиваться. Важная деталь — запоминание появлялось раньше, чем в создаваемых сетях становились заметны сообщества. Поэтому остановка обучения в любой момент до появления структуры давала бесформенные графы, а после появления структуры модель уже успевала запомнить обучающий пример.
Проверку повторили для сетей разного размера и с разной силой шума. Авторы также запускали много независимых вариантов восстановления одной и той же сети, чтобы отделить эффект запоминания от случайности при добавлении и снятии шума. Это объясняет, почему прежние оценки могли пропускать проблему: они сравнивали свойства новых сгенерированных сетей, а не задавали модели зашумлённый экземпляр из обучения и не просили вернуть именно его.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, поэтому работу ещё не проверили рецензенты. Результат получен на искусственных сетях с двумя сообществами, а не на реальных данных; кроме того, в абстракте не указаны точные размеры выборок и сетей, поэтому перенос вывода на другие задачи пока не очевиден.
- Результат получен на синтетических графах, созданных по модели двух сообществ, а не на реальных сетях.
- Речь идёт о скрытом запоминании, выявляемом специальной реконструкцией из зашумлённого обучающего графа; обычные метрики сгенерированных графов его не показывали.
- Это препринт, поэтому выводы ещё не прошли независимую проверку.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено