dumaiГолосовой ИИ отвечает на 75% перебиваний
Препринт, ещё не рецензирован · ранние данные
Кратко
Realtime-Venus объединяет разговор по голосу и видео с постоянным восприятием происходящего и выполнением фоновых задач. В заявленных авторами тестах система продолжала диалог после фоновой речи в 86–97% случаев и превзошла сравниваемые модели по нескольким проверкам понимания речи.
Зачем это знать?
Такой подход показывает, как ИИ может не прерывать разговор из-за фоновой речи и одновременно выполнять другую задачу. Пока результат относится к специальным тестам, а не к повседневному общению.
Разбор
Авторы собрали систему из двух отдельных моделей примерно по 9 млрд параметров. Одна работает с аудио и видео, другая — только с речью. Обе не просто ждут очередной фразы: они постоянно отслеживают входящие сигналы, решают, когда отвечать, и сами озвучивают ответ. Для этого события разговора, действия модели и передача задач записываются в одну общую временную последовательность — так системе проще не потерять связь между тем, что произошло, и тем, что она собирается сказать.
Внутри есть два параллельных контура. Первый поддерживает живой диалог, а второй запускает более долгие рассуждения и внешние инструменты в фоне. Когда фоновая задача заканчивается, её результат возвращается в продолжающийся разговор, а не блокирует его. Такой подход важен потому, что обычному голосовому ассистенту приходится выбирать: либо слушать и быстро отвечать, либо заняться отдельной задачей. Здесь авторы пытались разделить эти процессы.
Помимо тестов на перебивания, авторы проверили понимание видео и речи на восьми наборах заданий для каждого направления. Видео-версия заняла первое место в шести из восьми видеотестов, а аудиоверсия — в четырёх из восьми тестов на понимание речи и вопросы с ответами. При этом проверяли не только способность распознать слова: отдельные оценки показывали, понимает ли система происходящее в потоке, включая визуальный контекст и разные виды фоновой речи.
Ключевые цифры
Можно ли доверять
Это препринт с arXiv, а значит, его ещё не проверили независимые рецензенты. Результаты получены на наборах тестов и в сравнении с другими моделями, а не в длительном общении с реальными людьми; поэтому поведение системы в обычном разговоре может оказаться менее стабильным.
- Это препринт, поэтому результаты ещё не прошли полноценную независимую проверку.
- Сравнение основано главным образом на бенчмарках, а не на доказательстве качества работы в реальных повседневных сценариях.
- Заявленные преимущества относятся к конкретным тестам и сравниваемым моделям; из абстракта неясны детали условий и статистической надёжности сравнения.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено