dumaiАвтоматическая доработка запросов повысила предпочтение 30-секундных видео на 50,86 пункта
Препринт, ещё не рецензирован · ранние данные
Кратко
Модель автоматически дополняет текстовые запросы для генераторов видео, планируя действия, смену кадров, свет и звук. В связке с генератором Wan3.0 улучшенные запросы предпочитали исходным на 10,66–18,84 пункта для роликов длиной 5–15 секунд и на 50,86 пункта для 30-секундных роликов. Результат основан примерно на 11 тысячах парных сравнений, где люди выбирали лучший вариант видео.
Зачем это знать?
Это ранний результат, полученный только с одним генератором видео и в специально созданном тесте. Он указывает, что автоматическая доработка запроса может особенно заметно влиять на восприятие длинных роликов, где нужно заранее спланировать несколько сцен.
Разбор
WanPE не просто переписывает запрос красивее. Модель сначала разбирает, что должно произойти в каждом кадре: какие действия идут по порядку, как движется камера, где меняется свет и как развивается звук. Для этого она использует обратную сборку: смотрит на готовые видео и восстанавливает логику режиссёрского плана, а затем переносит этот подход в текстовые запросы. Отдельное обучение помогает ей не потерять исходные требования пользователя, когда ролик состоит из нескольких сцен и длится дольше нескольких секунд.
Авторы обучили WanPE на 1,05 млн реальных видео и создали собственный тест WanPEval. В нём люди вслепую сравнивали два результата — видео по исходному запросу и видео по улучшенному — на роликах разной длины и для запросов разной подробности. Это позволило проверить не только техническое соответствие тексту, но и то, какой вариант зрители действительно считают лучшим.
Интересная деталь — улучшение зависело от способа обучения. Обратная сборка заметно обошла обычное последовательное переписывание запроса, а метод SC-GRPO лучше сохранял смысл исходного задания при разных размерах модели. В связке с Wan3.0 система лидировала среди проверенных коммерческих решений для роликов длиной 5–15 секунд и оставалась сопоставимой с Seedance 2.5 на 30-секундных видео.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, поэтому независимая экспертная проверка ещё впереди. При этом выводы опираются примерно на 11 тысяч слепых сравнений, но систему проверяли только в связке с Wan3.0 и на специально созданном тесте, так что результат не обязательно повторится с другими генераторами и в обычной работе.
- Это препринт, поэтому результаты ещё не прошли независимую экспертную проверку.
- Оценка основана на специально созданном тестовом наборе и примерно 11 тысячах парных человеческих сравнений; из abstract неясно, насколько результат переносится на другие генераторы и реальные рабочие процессы.
- Показано преимущество по субъективным предпочтениям, но не доказано улучшение всех аспектов качества видео или практической пользы для пользователей.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено