R_REDDYX.XYZ
VoicePython★ 3,432⑂ 1,048 форковApache-2.0

pnnbao97/VieNeu-TTS

VIETNAMESE TTS С КЛОНИРОВАНИЕМ ГОЛОСА НА УСТРОЙСТВЕ

On-devicevietnamese TTS с мгновенным клонированием голоса из 3-8с аудио. Работает в реальном времени на CPU и GPU с качеством 48 кГц.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Мгновенное клонирование голоса из 3-8 сек
  • 25 встроенных голосов, режим диалога
  • Стриминг 115 мс, RTF 0.01-0.02 на GPU
  • LoRA дообучение на потребительском GPU

// РАЗБОР: КАК ЭТО РАБОТАЕТ

Проект реализует архитектуру v3 Turbo, разработанную с нуля: кодек MOSS-Audio-Tokenizer-Nano и фонемизатор sea-g2p. Модель обучена на 10 000+ часов двуязычных данных, выдаёт 48 кГц и поддерживает батчевую генерацию до 32 семплов, включая мультиспикерный режим Conversation. Клонирование голоса работает с автоматическим шумоподавлением референса, эмоциональные метки вроде [cười] или [thở dài] вставляются прямо в текст.

Отличие от аналогов — комбинация on-device работы, сверхнизкой латентности стриминга (~115 мс до первого аудио) и OpenAI-совместимого API с Docker-развёртыванием. Версия v4 с более высоким качеством клонирования закрыта и доступна только через платный API vieneu.io, в открытом доступе остаётся v3 Turbo.

Требует Python и uv для установки; есть отдельные Docker-профили для CPU и GPU. На CPU достигает ~2× real-time, на RTX 3060 — до 16 параллельных стримов под 200 мс. LoRA-дообучение возможно на одной потребительской видеокарте. Windows-установщик на vieneu.io, macOS — в планах.

// СЦЕНАРИИ ИСПОЛЬЗОВАНИЯ

Кому пригодится: Разработчикам TTS-приложений для вьетнамского

  • Добавить вьетнамский TTS в приложение через OpenAI-совместимый API
  • Создать подкаст с несколькими спикерами из скрипта
  • Дообучить голос пользователя через LoRA на своём GPU

// БЫСТРЫЙ СТАРТ

curl -LsSf https://astral.sh/uv/install.sh | sh
git clone https://github.com/pnnbao97/VieNeu-TTS.git
cd VieNeu-TTS
uv sync
# Windows: powershell -c "irm https://astral.sh/uv/install.ps1 | iex"

Команды взяты из README репозитория — перед запуском сверьтесь с актуальной версией на GitHub.

#deep-learning#on-device-ml#real-time#speech-synthesis#text-to-speech#tts#vietnamese#vietnamese-language
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

DOCKER-WRAPPER KOKORO-82M TTS С OPENAI API★ 5706МАЛЕНЬКАЯ АНГЛИЙСКАЯ TTS-МОДЕЛЬ 4.5М ПАРАМЕТРОВ★ 673ЛОКАЛЬНЫЙ SPEECH-TO-SPEECH АССИСТЕНТ НА GPU★ 448ОФФЛАЙН AI СТУДИЯ ГОЛОСА НА RUST★ 312ГОЛОСОВАЯ СТУДИЯ НА MAC С MLX★ 247MIRLI — ЛОКАЛЬНЫЙ AI ДЛЯ АУДИО★ 231

← ВЕСЬ КАТАЛОГ

pnnbao97/VieNeu-TTS — Vietnamese TTS с клонированием голоса…