Zyphra/ZONOS3-Mini
КОМПАКТНЫЙ TTS С КЛОНИРОВАНИЕМ ГОЛОСА
Многоязыковая модель текста в речь с zero-shot клонированием голоса. Запускается локально на GPU, CPU, Apple Silicon и в браузере через WebGPU.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Четыре бэкенда: CUDA/SGLang, MLX, ggml/C++, WebGPU в браузере
- Zero-shot клонирование голоса по референс-аудио или эмбеддингу
- Единый HTTP API и веб-студия для всех бэкендов
- OpenAI-совместимый эндпоинт /v1/audio/speech
// РАЗБОР: КАК ЭТО РАБОТАЕТ
ZONOS3-Mini — это инференс-рантайм для многоязыковой TTS-модели Zyphra. Проект предоставляет четыре реализаций сервера под разные платформы: CUDA-версию на SGLang для NVIDIA GPU, MLX-сервер для Apple Silicon, C++/ggml-сервер для CPU, CUDA, Metal и Vulkan без Python в рантайме, и in-browser сборку на WebGPU. Все бэкенды раздают одинаковое HTTP API и веб-интерфейс Zonos Voice Studio.
Внутри — модель ZONOS3-Mini с поддержкой zero-shot клонирования: генерация может условляться на референс-аудио (base64) или заранее сохранённом спикере. Есть нативный эндпоинт /v2/generate с потоковой выдачей и OpenAI-совместимый /v1/audio/speech. Веса (~9 ГБ для PyTorch, GGUF для остальных) качаются с Hugging Face без токена. Текстовый нормализатор поставляется как Rust-библиотека (ggml) или Python-wheel.
Требования: uv и Python 3.12; для CUDA-сервера — CUDA 12.8 тулкит и NVIDIA GPU (тестировалось на H100), первый запуск JIT-компилирует ядра несколько минут; ggml-сервер нужен Rust-тулчейн и CMake; MLX — только Apple Silicon; in-browser — браузер с WebGPU. Веса скачиваются при первом старте в кэш HF.
// СЦЕНАРИИ ИСПОЛЬЗОВАНИЯ
Кому пригодится: Разработчикам голосовых интерфейсов, нуждающимся в локальном TTS с клонированием
- Развернуть локальный TTS-сервер с клонированием голоса на своём GPU или Mac
- Интегрировать генерацию речи в приложение через OpenAI-совместимый API
- Запустить голосовую синтез в браузере пользователя без бэкенда
// БЫСТРЫЙ СТАРТ
git clone --recurse-submodules git@github.com:Zyphra/ZONOS3.git
cd ZONOS3
uv sync --locked --all-packages # Linux with an NVIDIA GPU
uv sync --locked --package zonos3-mlx # Apple SiliconКоманды взяты из README репозитория — перед запуском сверьтесь с актуальной версией на GitHub.
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram