R_REDDYX.XYZ
VoicePython★ 673⑂ 83 форковApache-2.0

n4ze3m/tiny-voca

МАЛЕНЬКАЯ АНГЛИЙСКАЯ TTS-МОДЕЛЬ 4.5М ПАРАМЕТРОВ

Текст-в-речь модель с 4.5 млн параметров и двумя голосами (мужской/женский). Работает на CPU и в браузере через ONNX, весит 18 МБ.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • 4.5 млн параметров, 18 МБ с генератором волн
  • ~70x реального времени на 4 потоках CPU
  • Два голоса F2/M2, английский 24 кГц
  • PyTorch, ONNX Runtime и ONNX Runtime Web

// РАЗБОР: КАК ЭТО РАБОТАЕТ

Модель состоит из фонетизатора и генератора волн, обученных с нуля на английских данных. Инференс идёт предложение за предложением: текст режется по знакам препинания, пустые сегменты пропускаются, аудио склеивается в итоговый WAV без клиппинга (пик ≤ 0.99).

В отличие от крупных TTS (Piper, Coqui), tiny-voca намеренно минимальна: 4.5 М параметров против сотен миллионов, фиксированные голоса F2/M2 без клонирования, только английский. Весь артефакт — 18 МБ — включает и вокодер. Экспорт в ONNX позволяет запускать в браузере через ONNX Runtime Web без сервера; есть порт на Rust и сборка под ESP32-S3.

Ограничения: английский язык, два голоса, F2 звучит моложе замысла, иностранные имена часто читаются неверно, стриминга нет. Обучение стоило $9.56 на одной RTX 4090 (7.7 ч). Нужен Python 3.10+, для ONNX — onnxruntime или onnxruntime-web.

// СЦЕНАРИИ ИСПОЛЬЗОВАНИЯ

Кому пригодится: Разработчикам встраивающим TTS в приложения на CPU/браузер

  • Встраивать офлайн-озвучку в десктопные приложения без GPU
  • Запускать TTS прямо в браузере пользователя через WebAssembly
  • Обучать собственные голоса на рецепте и датасете проекта

// БЫСТРЫЙ СТАРТ

git clone https://github.com/n4ze3m/tiny-voca.git
cd tiny-voca
pip install -e ".[own]"
hf download n4ze3m/tiny-voca --local-dir weights
export DIZIONE_DATA=weights/phonemizer

Команды взяты из README репозитория — перед запуском сверьтесь с актуальной версией на GitHub.

#onnx#text-to-speech#tts
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

ЛОКАЛЬНЫЙ SPEECH-TO-SPEECH АССИСТЕНТ НА GPU★ 448ОФФЛАЙН AI СТУДИЯ ГОЛОСА НА RUST★ 312ГОЛОСОВАЯ СТУДИЯ НА MAC С MLX★ 247MIRLI — ЛОКАЛЬНЫЙ AI ДЛЯ АУДИО★ 231КОМПАКТНЫЙ TTS С КЛОНИРОВАНИЕМ ГОЛОСА★ 219VIETNAMESE TTS С КЛОНИРОВАНИЕМ ГОЛОСА НА УСТРОЙСТВЕ★ 3432

← ВЕСЬ КАТАЛОГ

n4ze3m/tiny-voca — Маленькая английская TTS-модель 4.5м…