ИИ создаёт видео и согласованное движение объекта в сцене

Проблема здесь не в том, чтобы ещё убедительнее нарисовать прыжок обезьяны, а в том, чтобы получить саму анимацию для конкретной 3D-модели. Авторы разделили задачу на две связанные части: одна модель отвечает за движение скелета, другая — за видео. Скелет можно задавать как угодно — например, набором суставов робота или нестандартного персонажа, а не только человеческим телом. Между двумя частями добавили небольшой канал обмена признаками, поэтому им не пришлось превращать видеомодель в огромную систему с отдельной тяжёлой веткой для движения.

Ключевой технический ход — обучить модель движения отдельно на данных, где есть только движения скелетов. Такие данные проще собирать и изменять, чем пары «видео плюс точная 3D-анимация». Затем авторы связали их с видео: сгенерированные анимированные модели помещали в подходящие сцены и следили, чтобы монтаж не нарушал исходное движение. Дополнительный модуль отмечает положение каждого сустава на кадрах. По этим соответствиям модель восстанавливает камеру — то есть понимает, как поставить движение в сцену, а не просто показать его поверх ролика.

В проверках система лучше видеоподходов сохраняла форму объекта, синхронизировала движение с роликом и учитывала окружение: один и тот же скелет мог двигаться с оглядкой на сцену. Авторы также показали обратные режимы — извлечение движения из видео и создание видео по движению — а ключевые кадры позволяют задавать отдельные моменты траектории. Раньше подобные методы обычно ограничивались человеческими скелетами или сначала оценивали 2D-позы, а затем пытались восстановить по ним 3D, что добавляет лишний этап и может ухудшать результат.