R_REDDYX.XYZ
VoicePython★ 219⑂ 23 форковMIT

Zyphra/ZONOS3-Mini

КОМПАКТНЫЙ TTS С КЛОНИРОВАНИЕМ ГОЛОСА

Многоязыковая модель текста в речь с zero-shot клонированием голоса. Запускается локально на GPU, CPU, Apple Silicon и в браузере через WebGPU.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Четыре бэкенда: CUDA/SGLang, MLX, ggml/C++, WebGPU в браузере
  • Zero-shot клонирование голоса по референс-аудио или эмбеддингу
  • Единый HTTP API и веб-студия для всех бэкендов
  • OpenAI-совместимый эндпоинт /v1/audio/speech

// РАЗБОР: КАК ЭТО РАБОТАЕТ

ZONOS3-Mini — это инференс-рантайм для многоязыковой TTS-модели Zyphra. Проект предоставляет четыре реализаций сервера под разные платформы: CUDA-версию на SGLang для NVIDIA GPU, MLX-сервер для Apple Silicon, C++/ggml-сервер для CPU, CUDA, Metal и Vulkan без Python в рантайме, и in-browser сборку на WebGPU. Все бэкенды раздают одинаковое HTTP API и веб-интерфейс Zonos Voice Studio.

Внутри — модель ZONOS3-Mini с поддержкой zero-shot клонирования: генерация может условляться на референс-аудио (base64) или заранее сохранённом спикере. Есть нативный эндпоинт /v2/generate с потоковой выдачей и OpenAI-совместимый /v1/audio/speech. Веса (~9 ГБ для PyTorch, GGUF для остальных) качаются с Hugging Face без токена. Текстовый нормализатор поставляется как Rust-библиотека (ggml) или Python-wheel.

Требования: uv и Python 3.12; для CUDA-сервера — CUDA 12.8 тулкит и NVIDIA GPU (тестировалось на H100), первый запуск JIT-компилирует ядра несколько минут; ggml-сервер нужен Rust-тулчейн и CMake; MLX — только Apple Silicon; in-browser — браузер с WebGPU. Веса скачиваются при первом старте в кэш HF.

// СЦЕНАРИИ ИСПОЛЬЗОВАНИЯ

Кому пригодится: Разработчикам голосовых интерфейсов, нуждающимся в локальном TTS с клонированием

  • Развернуть локальный TTS-сервер с клонированием голоса на своём GPU или Mac
  • Интегрировать генерацию речи в приложение через OpenAI-совместимый API
  • Запустить голосовую синтез в браузере пользователя без бэкенда

// БЫСТРЫЙ СТАРТ

git clone --recurse-submodules git@github.com:Zyphra/ZONOS3.git
cd ZONOS3
uv sync --locked --all-packages  # Linux with an NVIDIA GPU
uv sync --locked --package zonos3-mlx  # Apple Silicon

Команды взяты из README репозитория — перед запуском сверьтесь с актуальной версией на GitHub.

#ggml#local-ai#mlx#on-device#on-device-ai#pytorch#sglang#text-to-speech
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

MIRLI — ЛОКАЛЬНЫЙ AI ДЛЯ АУДИО★ 231ГОЛОСОВАЯ СТУДИЯ НА MAC С MLX★ 247ОФФЛАЙН AI СТУДИЯ ГОЛОСА НА RUST★ 312ЛОКАЛЬНЫЙ SPEECH-TO-SPEECH АССИСТЕНТ НА GPU★ 448МАЛЕНЬКАЯ АНГЛИЙСКАЯ TTS-МОДЕЛЬ 4.5М ПАРАМЕТРОВ★ 673VIETNAMESE TTS С КЛОНИРОВАНИЕМ ГОЛОСА НА УСТРОЙСТВЕ★ 3432

← ВЕСЬ КАТАЛОГ

Zyphra/ZONOS3-Mini — Компактный TTS с клонированием голоса