ModSleuth находит скрытые зависимости современных LLM

Авторы не пытались «угадать» связи между моделями вручную. Они собрали систему, которая ходит по публичным материалам — статьям, релизам, документации, ссылкам на датасеты и другие артефакты — и по этим следам восстанавливает, какие модели и наборы данных на что опирались. Смысл в том, что у современных LLM зависимость редко выглядит как одна простая стрелка: модель может использовать другой модельный инструмент для генерации данных, потом ещё один — для фильтрации или оценки, а часть связей вообще спрятана в отдельных релизах и обновлениях. Из-за этого обычному человеку трудно собрать полную картину, даже если все куски опубликованы открыто.

Главная находка авторов — проблема оказалась не столько в поиске информации, сколько в том, как вообще считать зависимость. Они отдельно описали прямые связи, например когда модель прямо обучают на данных или она наследует веса другой модели, и косвенные, когда чужая модель влияет на разработку через оценку, абляции или подготовку данных. Плюс им пришлось сопоставлять одни и те же артефакты, которые в разных источниках названы по-разному: с другой версией, другим репозиторием или просто неполным именем. Без такого «склейщика» граф получился бы рваным и неточным.

Когда систему прогнали по четырём публичным релизам LLM, она собрала большой граф зависимостей и нашла вещи, которые трудно увидеть из отдельных документов. Среди них — многослойные обязательства по лицензиям, связь между обучением и проверкой качества, а также расхождения между тем, что было в тренировочном пайплайне, и тем, что потом попало в релизную документацию. Ещё важно, что многие зависимости шли не напрямую через наследование модели, а через сгенерированные, отфильтрованные или переписанные данные — то есть цепочка влияния оказывалась длиннее и запутаннее, чем кажется на первый взгляд.