dumaiВидеогенераторы пока плохо согласуют рассуждение и генерацию последствий
Препринт, ещё не рецензирован · ранние данные
Кратко
Авторы проверили видеогенеративные модели тестом CGDJ, который отдельно оценивает явное причинное понимание и то, насколько согласованно модель генерирует последствия в видео. На наборе открытых и закрытых систем они увидели заметный разрыв: некоторые модели правдоподобно продолжают сцену, почти не демонстрируя явного понимания причин, а более сильные системы лишь частично лучше согласуют эти две части.
Зачем это знать?
Это ослабляет идею о том, что такие модели уже можно считать настоящими симуляторами мира. Для разработчиков это сигнал: по красивому продолжению видео ещё рано судить о том, действительно ли модель понимает происходящее.
Разбор
Авторы не просто посмотрели, «красиво ли» видеомодель продолжает ролик, а разложили задачу на две части. Сначала они проверяли, умеет ли модель вообще распознать причинную логику сцены — то есть понять, что к чему ведёт. Для этого использовали особый формат вопросов по видео: кадры как бы «раскладывали» в плоскую картинку, чтобы одну и ту же проверку можно было задать и видеомоделям, и мультимодальным языковым моделям.
Затем отдельно смотрели на вторую часть — способна ли модель сгенерировать правдоподобное продолжение, которое действительно соответствует причине, а не просто похоже на знакомое движение или типичную сцену. Именно это разделение и позволило увидеть разрыв между пониманием и генерацией: модель может уверенно «додумывать» будущее видео, но при этом почти не показывать явного причинного разбора происходящего.
Сравнение открытых и закрытых систем показало, что у открытых моделей этот разрыв особенно заметен: они иногда выдают вполне реалистичную динамику, хотя по явным вопросам о причине ошибаются почти на всём. У более сильных закрытых систем согласованность между ответом и генерацией лучше, но до полной связки между рассуждением и роликом всё ещё далеко. Дополнительно авторы заметили, что модели нередко верно объясняют причинную цепочку словами, но не умеют так же верно воплотить её в видео — то есть текстовое «понимание» и визуальный результат расходятся.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, так что работу ещё не проверяли рецензенты. При этом авторы сравнили несколько современных моделей, включая и открытые, и закрытые системы, а значит, выводы опираются не на один пример. Но все проверки идут на тестовом наборе и в заданных условиях эксперимента, поэтому в реальном применении разрыв между пониманием и генерацией может выглядеть иначе.
- Это preprint, а не рецензированная статья.
- Авторы сами предлагают новый тест и оценивают модели на выбранном наборе систем; результаты зависят от метрики и протокола.
- Работа про видео- и мультимодальные модели, а не про практическую рекомендацию для обычных пользователей.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено