dumaiГолосовой ИИ слушает, отвечает и вызывает внешние инструменты
Препринт, ещё не рецензирован · ранние данные
Кратко
Открытая система NemotronLabs VoiceChat одновременно слушает речь, превращает её в текст, отвечает голосом и обращается к внешним сервисам. В специальных тестах она продолжала разговор после перебивания в 100% случаев и возобновляла ответ после коротких реплик собеседника в 93% случаев. Нужный инструмент выбирался с точностью 82,5%, а точность переданных ему данных и выполнение задачи целиком пока оставались слабее.
Зачем это знать?
Для открытых голосовых помощников это шаг к разговору без заметных пауз и к действиям по просьбе пользователя. Надёжность такой системы в реальных задачах пока не доказана: результаты получены на специальных тестах и ещё требуют независимой проверки.
Разбор
Авторы собрали систему так, чтобы голосовой помощник не работал по очереди: сначала полностью распознал фразу, потом отдельно подумал и только затем ответил. Поток аудио сразу проходит через несколько ветвей: одна постепенно переводит речь в текст, другая готовит обычный ответ, третья оформляет команду для внешнего сервиса, а отдельный модуль превращает ответ обратно в речь. Благодаря этому разговор не приходится останавливать каждый раз, когда системе нужно вызвать функцию или уточнить, что сказал пользователь.
Такой подход решает конфликт между двумя задачами. Для живого диалога важно реагировать с минимальной задержкой и уметь слушать во время собственной реплики, а для работы с сервисами нужны аккуратно оформленные команды и параметры. Раньше эти действия часто связывали в последовательную цепочку, из-за чего инструмент мог вмешиваться в разговорный поток. Здесь авторы развели их по параллельным каналам и проверили не только качество ответов, но и то, как система управляет очередностью реплик.
Проверка состояла из нескольких наборов тестов: одни измеряли поведение при перебиваниях и коротких сигналах слушателя, другие — общую способность отвечать, третьи — выбор внешнего инструмента по естественной речи. Система показала качество ответа после перебивания 4,33 балла из 5 и получила 55,1 балла в отдельной оценке речевого помощника. При этом авторы прямо отмечают разрыв между выбором нужного инструмента и полноценным выполнением задачи: передача аргументов и вся цепочка действия пока работают хуже.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, поэтому независимая проверка рецензентами ещё впереди. Результаты получены на специальных тестовых наборах, а не в длительном использовании с реальными людьми; кроме того, авторы сами указывают, что точность параметров и полное выполнение вызванных инструментами задач пока остаются слабым местом.
- Это препринт, результаты еще не прошли независимую экспертную проверку.
- Показатели относятся к специальным тестовым наборам и не показывают надежность системы в реальных задачах.
- Авторы сами отмечают проблемы с точностью аргументов и сквозным выполнением вызовов инструментов.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено