n4ze3m/tiny-voca
МАЛЕНЬКАЯ АНГЛИЙСКАЯ TTS-МОДЕЛЬ 4.5М ПАРАМЕТРОВ
Текст-в-речь модель с 4.5 млн параметров и двумя голосами (мужской/женский). Работает на CPU и в браузере через ONNX, весит 18 МБ.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- 4.5 млн параметров, 18 МБ с генератором волн
- ~70x реального времени на 4 потоках CPU
- Два голоса F2/M2, английский 24 кГц
- PyTorch, ONNX Runtime и ONNX Runtime Web
// РАЗБОР: КАК ЭТО РАБОТАЕТ
Модель состоит из фонетизатора и генератора волн, обученных с нуля на английских данных. Инференс идёт предложение за предложением: текст режется по знакам препинания, пустые сегменты пропускаются, аудио склеивается в итоговый WAV без клиппинга (пик ≤ 0.99).
В отличие от крупных TTS (Piper, Coqui), tiny-voca намеренно минимальна: 4.5 М параметров против сотен миллионов, фиксированные голоса F2/M2 без клонирования, только английский. Весь артефакт — 18 МБ — включает и вокодер. Экспорт в ONNX позволяет запускать в браузере через ONNX Runtime Web без сервера; есть порт на Rust и сборка под ESP32-S3.
Ограничения: английский язык, два голоса, F2 звучит моложе замысла, иностранные имена часто читаются неверно, стриминга нет. Обучение стоило $9.56 на одной RTX 4090 (7.7 ч). Нужен Python 3.10+, для ONNX — onnxruntime или onnxruntime-web.
// СЦЕНАРИИ ИСПОЛЬЗОВАНИЯ
Кому пригодится: Разработчикам встраивающим TTS в приложения на CPU/браузер
- Встраивать офлайн-озвучку в десктопные приложения без GPU
- Запускать TTS прямо в браузере пользователя через WebAssembly
- Обучать собственные голоса на рецепте и датасете проекта
// БЫСТРЫЙ СТАРТ
git clone https://github.com/n4ze3m/tiny-voca.git
cd tiny-voca
pip install -e ".[own]"
hf download n4ze3m/tiny-voca --local-dir weights
export DIZIONE_DATA=weights/phonemizerКоманды взяты из README репозитория — перед запуском сверьтесь с актуальной версией на GitHub.
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram