dumaiИИ создаёт игровые миры по тексту с работающими правилами
Препринт, ещё не рецензирован · ранние данные
Кратко
Matrix-Game 4.0 сочетает небольшую программу для хранения состояния мира и правил игры с генерацией видео, поэтому текстовые идеи могут менять сцены и игровой процесс. В демонстрации шутер и гонки работали в разрешении 480p со скоростью 60 кадров в секунду и задержкой 112 миллисекунд на одной видеокарте NVIDIA RTX 5090.
Зачем это знать?
Если подход подтвердится в более сложных играх, игроки смогут менять мир и правила обычными фразами, а не ждать отдельной разработки каждого сценария. Пока показаны лишь несколько типов игр, поэтому масштаб таких игровых миров остаётся открытым вопросом.
Разбор
Главная идея Matrix-Game 4.0 — разделить работу игры и работу картинки. Небольшой игровой движок хранит, где находятся объекты и что с ними можно делать: например, столкновение машины или правила стрельбы. Поэтому важные события не приходится угадывать по видео — их задаёт исполняемый код. Отдельная модель затем превращает упрощённые «черновые» формы сцены в подробное изображение.
Текстовые команды обрабатывает мультимодальный агент — система, которая работает и с текстом, и с визуальной информацией. Он переводит задумку игрока в код игры и в описания текущей сцены. Эти описания вместе с воспоминаниями о предыдущих кадрах подсказывают видеомодели, как продолжать изображение, не теряя связь между последовательными моментами.
Авторы обучили рендерер на парах видео: в каждой паре одна версия показывала простые низкополигональные объекты, а другая — их детализированный вид. Затем модель упростили для быстрого запуска: она создаёт видео небольшими блоками по четыре кадра и использует один или два шага уточнения изображения. В итоге авторы показали настраиваемые шутер и гоночную игру, где правила контролирует движок, а также выложили код, веса моделей и наборы игровых объектов для дальнейших экспериментов.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, а не статья, прошедшая рецензирование, поэтому независимой проверки результатов ещё нет. Систему показали только на демонстрационных шутере и гонках; абстракт не говорит, как она поведёт себя в более сложных играх или при длительной игре с большим числом объектов.
- Работа является препринтом и не прошла независимую экспертную проверку.
- Показаны прототип и несколько типов игр; из abstract неясно, насколько система масштабируется на более сложные игры и сценарии.
- Заявленные показатели производительности зависят от конкретного оборудования и условий тестирования.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено