pnnbao97/VieNeu-TTS
VIETNAMESE TTS С КЛОНИРОВАНИЕМ ГОЛОСА НА УСТРОЙСТВЕ
On-devicevietnamese TTS с мгновенным клонированием голоса из 3-8с аудио. Работает в реальном времени на CPU и GPU с качеством 48 кГц.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Мгновенное клонирование голоса из 3-8 сек
- 25 встроенных голосов, режим диалога
- Стриминг 115 мс, RTF 0.01-0.02 на GPU
- LoRA дообучение на потребительском GPU
// РАЗБОР: КАК ЭТО РАБОТАЕТ
Проект реализует архитектуру v3 Turbo, разработанную с нуля: кодек MOSS-Audio-Tokenizer-Nano и фонемизатор sea-g2p. Модель обучена на 10 000+ часов двуязычных данных, выдаёт 48 кГц и поддерживает батчевую генерацию до 32 семплов, включая мультиспикерный режим Conversation. Клонирование голоса работает с автоматическим шумоподавлением референса, эмоциональные метки вроде [cười] или [thở dài] вставляются прямо в текст.
Отличие от аналогов — комбинация on-device работы, сверхнизкой латентности стриминга (~115 мс до первого аудио) и OpenAI-совместимого API с Docker-развёртыванием. Версия v4 с более высоким качеством клонирования закрыта и доступна только через платный API vieneu.io, в открытом доступе остаётся v3 Turbo.
Требует Python и uv для установки; есть отдельные Docker-профили для CPU и GPU. На CPU достигает ~2× real-time, на RTX 3060 — до 16 параллельных стримов под 200 мс. LoRA-дообучение возможно на одной потребительской видеокарте. Windows-установщик на vieneu.io, macOS — в планах.
// СЦЕНАРИИ ИСПОЛЬЗОВАНИЯ
Кому пригодится: Разработчикам TTS-приложений для вьетнамского
- Добавить вьетнамский TTS в приложение через OpenAI-совместимый API
- Создать подкаст с несколькими спикерами из скрипта
- Дообучить голос пользователя через LoRA на своём GPU
// БЫСТРЫЙ СТАРТ
curl -LsSf https://astral.sh/uv/install.sh | sh
git clone https://github.com/pnnbao97/VieNeu-TTS.git
cd VieNeu-TTS
uv sync
# Windows: powershell -c "irm https://astral.sh/uv/install.ps1 | iex"Команды взяты из README репозитория — перед запуском сверьтесь с актуальной версией на GitHub.
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram