Модель превращает одно фото в навигируемую 3D-сцену

Авторы разбили задачу на три шага, чтобы не пытаться «угадать весь мир» сразу. Сначала система дорисовывает недостающую часть обзора и собирает вокруг исходного фото полную 360-градусную панораму. Потом она превращает эту панораму в 3D-основу — по сути, в плотную пространственную память, с которой уже можно работать как с объёмной сценой. И только после этого отдельный модуль рисует видео по траектории камеры, которую задаёт пользователь.

Зачем такой обходной путь? Потому что одно узкое фото видит лишь маленький кусок окружения, а для свободного движения камеры нужна сцена, где есть и форма объектов, и понимание, как всё связано в пространстве, и устойчивость картинки при перемещении. Прежние подходы обычно упирались либо в красивую, но плохо управляемую генерацию, либо в 3D-представление, которому не хватало качества финального изображения. Здесь авторы стараются совместить оба мира: явную 3D-структуру для контроля и генеративную модель для визуальной реалистичности.

Отдельный упор сделали на скорости работы в реальном времени. Для обучения рендерера сначала использовали более тяжёлую двунаправленную модель-учителя, которая умеет выдавать качественные условные кадры, а затем «сжали» её в более лёгкого причинного студента для потоковой выдачи с ограниченной задержкой. Это позволяет не просто получить ролик, а именно двигаться по сцене интерактивно, без долгого ожидания каждого следующего кадра.