dumaiDirCast сам выбирает камеры и комментирует матчи, опережая базовые системы в режиссуре
Препринт, ещё не рецензирован · ранние данные
Кратко
DirCast получал картинку со всех камер профессионального матча Dota 2 и по уже прошедшим кадрам сам решал, какой ракурс показать и что сказать. На 27 матчах он лучше справился с выбором ракурса, а в сравнении комментариев победил в 29,2% случаев против 19,4% у лучшей из 11 систем, которые смотрели готовую трансляцию.
Зачем это знать?
Пока проверка охватила только 27 матчей одной игры, поэтому это скорее шаг к автоматическим трансляциям, чем готовая замена режиссёру и комментатору.
Разбор
Обычно модели для спортивных трансляций получают уже готовый эфир: человек заранее выбрал камеру, а алгоритм лишь пытается говорить поверх этой картинки. DirCast поставили в более жёсткие условия: он получает отдельное видео с камеры каждого героя и видит только прошлое, без подсказки о том, что произойдёт дальше. Поэтому ему приходится одновременно следить за игрой, решать, оставить текущий ракурс или переключиться, и объяснять свой выбор зрителю.
Чтобы не тратить одинаково много вычислений на все изображения, модель сначала быстро просматривает все камеры в низком разрешении. Когда она выбирает ракурс, этот фрагмент она рассматривает подробнее и только потом формулирует реплику. В памяти остаются лишь то, что уже попало в эфир, и сказанные слова, а не все видеопотоки целиком. Благодаря этому длина матча сама по себе не должна бесконечно увеличивать объём памяти.
Авторы собрали для проверки не просто записи эфира, а набор с отдельной камерой для каждого героя, решениями настоящего режиссёра и репликами комментаторов. Затем они сравнили DirCast не только с простыми правилами, но и с моделями, которые пытались выбирать ракурс без специального обучения, включая GPT-5. Отдельно комментарии оценивали в слепом сравнении с GPT-4o по протоколу Proact-VL — то есть система должна была реагировать на происходящее, а не пересказывать заранее известный матч.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, а не прошедшая рецензирование журнальная статья. Проверка выглядит содержательной: авторы использовали профессиональные матчи, записи решений режиссёра и несколько базовых систем, но выборка ограничена одной игрой и 27 матчами, а комментарии оценивали в сравнительном протоколе, а не на реальной многотысячной аудитории.
- Это препринт, поэтому результаты ещё не прошли независимую экспертную проверку.
- Оценка основана всего на 27 матчах одной игры — Dota 2 — и может плохо переноситься на другие игры и реальные эфиры.
- Процент побед в сравнении комментариев не означает, что модель стабильно лучше человека или готова для коммерческой трансляции.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено