dumaiПрепринт — материал ещё не прошёл рецензирование
Модель ИИ поддерживает виртуальный мир в реальном времени минутами
Кратко
Matrix-Game 3.5 создаёт интерактивные виртуальные миры, учитывая расположение объектов, их движение и положение камеры. В тестах система генерировала такие сцены в реальном времени в течение минут, но авторы не приводят конкретных чисел для сравнения с прежними моделями.
Зачем это знать
Результат показывает направление для игр и других виртуальных сред, где мир должен оставаться цельным при действиях пользователя. Пока это демонстрация на виртуальных мирах и тестах, а не доказательство работы в реальных роботах или физических системах.
Разбор
Авторы не просто ускорили генерацию видео, а перестроили модель так, чтобы она помнила устройство уже показанного мира. Для этого они добавили память из фрагментов изображения: система ищет похожие участки сцены и связывает их с данными о том, как камера смотрит на мир. Важно, что для этой памяти не понадобились новые обучаемые параметры — то есть модель не стала за счёт этого отдельной тяжёлой системой. Такой подход должен помогать возвращаться к тем же объектам и сохранять правильную геометрию при движении камеры.
Второе изменение — разделение мира на неподвижную основу и движущихся персонажей или предметы. Благодаря этому модель отдельно следит за формой и расположением сцены, а отдельно — за поведением и узнаваемостью объектов. Это отвечает на одну из главных проблем длинной генерации: при продолжении ролика фон постепенно меняется, а персонажи могут терять свой вид.
Наконец, авторы превратили исходную двунаправленную диффузионную модель — генератор, который обычно уточняет изображение, используя информацию с обеих сторон процесса — в причинную модель, способную выдавать результат последовательно и быстро. Они сделали это в два этапа: сначала обучали модель сопоставлять изменения восприятия с движением сцены, затем заставляли её учиться на собственных продолжениях. Обучение шло на смеси виртуальных сцен Unreal Engine, игр с открытым миром и интернет-видео. В проверках отдельно оценивали память сцены, управление камерой, сохранение внешности объектов и создание мира по текстовой команде.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, поэтому его ещё не проверили независимые рецензенты. Авторы сообщают о масштабных тестах на виртуальных мирах, играх и видео, но в абстракте нет размеров тестового набора и численного сравнения с прежними моделями; кроме того, реальную физическую среду или роботов здесь не проверяли.
Пересказано ИИ по научной статье. Как это устроено