GF-DiT динамически перераспределяет GPU-параллелизм для диффузионных трансформеров

Авторы посмотрели на проблему не как на «как бы побыстрее запустить модель», а как на задачу планирования ресурсов в реальном времени. Идея простая: у разных запросов на генерацию картинок и видео нагрузка меняется по ходу работы, поэтому одна и та же схема распределения GPU не обязана быть удачной на всём пути выполнения. Чтобы проверить это, они встроили GF-DiT в серверный стек vLLM-Omni и дали ему возможность перестраивать, как именно несколько GPU делят между запросами работу на разных этапах.

Самый важный технический ход здесь — разрезать запрос на отдельные «траектории» выполнения, которые можно планировать независимо друг от друга. Это позволяет перераспределять GPU уже во время работы, а не только до старта запроса. Но если так часто менять состав групп, появляется новая проблема: обычные коммуникационные схемы между GPU слишком тяжёлые и съедают выгоду. Поэтому авторы добавили лёгкий механизм обмена данными без жёстко заданных групп, чтобы быстро собирать и перестраивать команды GPU на лету.

В оценке они сравнили GF-DiT с фиксированной статической схемой на реальных задачах генерации изображений и видео. Результат не сводится просто к «стало быстрее»: система лучше переживала смешанную нагрузку и всплески коротких запросов, где старый подход особенно проседал. Кроме того, у неё заметно снизились нарушения сервисных обещаний — то есть меньше запросов выходили за допустимое время ожидания. Ещё один важный момент: авторы специально подбирали нагрузки так, чтобы сравнение шло не в одной удобной точке, а при похожем давлении на сервер, поэтому выигрыш выглядит именно как свойство самого подхода, а не как удачно выбранный тест.