Xiaomi стартирала OmniVoice – отворена AI модел, способен да озвучава текстове почти на всички езици и да копира гласове.

Xiaomi представи отворения AI модул OmniVoice

Компанията обяви стартирането на модел за изкуствен интелект, наречен OmniVoice, който преобразува текст в говор. Освен синтезиране на глас на стотици езици, моделът може да клонира глас и генерира произношение с потребителски настройки.

Какво ново има в OmniVoice?
ПоказателОписаниеЕзициПоддръжка на повече от 200 езика, включително редки и труднообучими. Дори при наличието на по-малко от 10 часа данни моделът произвежда говор „почти на всеки език“.КачествоВ тестове с 102 езика разпознаваемостта на говора беше сравнима с човешката, а в някои случаи надминава. На 24 езика моделът превъзмогна няколко комерсиални системи по сходство и разпознаваемост.АрхитектураУпрощена двупосочна трансформър мрежа без междинни модули за прогнозиране на токени. Това намалява времето за обучение до един ден при 100 000 часа данни и увеличава скоростта на инференция (до 40× реално време в PyTorch).Технологии• „Случайно скриване на акустични кодове“ – ускорява обучението. • Подключение на голям езиков модел при предварително обучение подобрява произношението и разпознаваемостта.

Практически възможности
1. Клониране на глас

- Генериране на говор според описаните характеристики (възраст, пол, тон, акцент, диалект).

- Възможност за създаване на шепот и други стилистични варианти без эталонно аудио.

2. Обработка на оригинални записи

- Премахване на шум и извличане чисти характеристики на гласа дори от неидеални файлове.

3. Управление на интонацията

- Добавяне на въздъх, смях и други нюанси за поестетично звучене.

4. Точна корекция на произношението

- Ръчно настройване на сложни звуци, например многозвукови китайски йероглифи или англоезични собствено имена.

Резултати
OmniVoice представлява конкурентоспособна алтернатива на съществуващите комерсиални системи за синтеза на говора. Благодарение на простия дизайн, висока скорост на обучение и инференция, както и широките възможности за персонализация, моделът е готов за интеграция в потребителски приложения и услуги.