AuK создаёт и редактирует речь по текстовым инструкциям и аудиоконтексту

Авторы собрали для обучения около 3,03 млрд пар «инструкция — аудио». В набор вошли пять типов задач: создание речи, изменение содержания сказанного, улучшение и разделение звука, редактирование манеры речи — например, эмоциональной окраски, — и изменение акустики, такой как тембр или звучание записи. В сумме это дало 1,95 млн часов учебных примеров. Такой масштаб нужен потому, что модель должна понимать не только текстовую команду, но и уже имеющийся звук, с которым нужно что-то сделать.

Внутри AuK разделили работу между несколькими компонентами. Мультимодальная языковая модель отвечает за смысл инструкции, а отдельный аудиокодировщик — VAE, то есть система, которая сжимает звук в удобное для модели представление, — учитывает акустические свойства речи, музыки и других звуков. Затем генератор собирает результат. Обучение шло поэтапно: сначала модель училась создавать речь, потом одновременно создавать и редактировать её.

После основного обучения авторы отдельно настраивали модель под разные сценарии. Для свободного редактирования использовали оценки людей, чтобы система чаще выбирала естественные варианты, а для генерации речи — обучение по сигналу награды, когда модель получает условный «балл» за нужное поведение. Быструю версию получили дополнительным обучением, которое переносит поведение большой модели в более короткую процедуру вывода. При этом на задачах восстановления сигнала AuK не стала безусловным лидером: её результаты остались примерно на уровне других методов.