Oído распознаёт речь без списка команд на плате за $5 — пока медленно

Препринт, ещё не рецензирован · ранние данные

Кратко

Движок Oído распознаёт английскую речь на маленьком компьютере ESP32-S3 стоимостью около $5, без специального ускорителя для ИИ. В тестах он ошибался в 2,99–6,67% слов, но на настоящей плате обрабатывал звук примерно вдвое дольше его длительности: 4-секундная команда занимала около 8,7 секунды.

Зачем это знать?

Результат показывает, что даже на таком недорогом компьютере можно распознавать не только заранее заданные команды, хотя для живого разговора он пока слишком медленный.

Разбор

Главная инженерная задача здесь — уместить не только саму нейросеть, но и все промежуточные вычисления в очень тесную память микроконтроллера. Авторы взяли модель Conformer-CTC: она превращает аудио в текст, а CTC — способ сопоставить звуки с буквами без отдельного выравнивания каждого фрагмента речи. Чтобы снизить нагрузку, веса и текущие значения модели хранятся в 8-битном формате, а вычисления внимания выполняются через SIMD-инструкции процессора — команды, которые позволяют обрабатывать несколько чисел за один шаг. Расписание вычислений специально подстроили под медленную передачу данных между флеш-памятью и PSRAM.

Сжатие почти не ухудшило качество: на тестах LibriSpeech результат оказался максимум на 0,12 процентного пункта хуже версии с полной точностью. Дополнительная языковая модель на самой плате снизила число ошибок, а другой вариант выходного слоя дал ещё один из лучших результатов; при этом модель в формате int4 заняла 8,3 МБ. По сравнению с распознавателем производителя для того же чипа Oído делал в 2,3–2,8 раза меньше ошибок, а в шуме и с эхом обошёл также две более крупные модели, запущенные на ноутбуке.

Есть и практический компромисс. Потоковый режим начинает показывать промежуточный текст ещё во время речи и сокращает ожидание после окончания записи, но распознаёт хуже. Авторы также проверили испанскую модель: она заметно опередила многоязычную Whisper tiny. При этом режим на двух ядрах пока отключили: на настоящей плате он выдавал неправильные результаты, хотя расчётная схема выглядела перспективной. Код, прошивки и модели опубликованы, поэтому результат можно воспроизвести и попробовать улучшить.

Ключевые цифры

13 млн параметровТакой объём у основной модели — для микроконтроллера это серьёзная вычислительная нагрузка, которую пришлось специально сжимать и распределять по памяти.

0,12 процентного пунктаСтолько максимум потеряло качество после перехода от точных вычислений к более экономному 8-битному формату — разница практически незаметна.

2,3–2,8 разаВо столько раз Oído сократил число ошибок по сравнению со штатным распознавателем на том же чипе.

34–60%На испанских тестах новая модель допускала на столько меньше ошибок, чем многоязычная Whisper tiny.

Можно ли доверять

Это препринт на arXiv, а не статья, прошедшая рецензирование. Проверка выглядит содержательной: авторы сравнили несколько вариантов модели, измерили работу на физической плате и выложили код, но основные тесты проходили на стандартном наборе LibriSpeech, а режим на двух ядрах пока даёт неправильные результаты.

Это препринт, а не прошедшая независимую рецензию публикация.
Распознавание пока не работает в реальном времени: задержка для 4-секундной команды составляет около 8,7 секунды.
Двухъядерный режим на физической плате выдаёт неверные результаты и отключён.

Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено

Источник и детали

ЖурналarXiv (cs.CL)

Дата публикации у нас12 октября 2026 г.

Дата источника9 октября 2026 г.

ОригиналОткрыть

АвторыDaniel Varela Sánchez, Guillermo Martín-Coello Juárez