timoncool/speech-studio
ОФФЛАЙН AI СТУДИЯ ГОЛОСА НА RUST
Локальное приложение для синтеза и распознавания речи с клонированием голосов и диаризацией спикеров. Работает без интернета, скачивает модели само, поддерживает MCP для AI-агентов.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- TTS с встроенными и клонированными голосами, поддержка EPUB/FB2/PDF
- ASR с диаризацией: кто, что и когда сказал, вырезка по словам
- MCP-сервер и OpenAI-совместимый API для управления агентами
- Нативный Rust+C++, CUDA/Vulkan/Metal, модели качаются в один клик
// РАЗБОР: КАК ЭТО РАБОТАЕТ
Приложение написано на Rust с нативными C++ движками (GGUF/ONNX) для CUDA, Vulkan и Metal. Никакого Python, Torch или CUDA wheels — весь стек компилируется в один исполняемый файл. При первом запуске сам скачивает модели, движки, рантаймы CUDA/VC++ и ffmpeg; если модель уже есть в другом проекте автора, берёт её оттуда. Работает в трёх режимах: Speech — озвучка текста, диалогов, подкастов и книг; Listening — распознавание с диаризацией, проверка озвучки по тексту, создание голосов; Live — голосовой диалог с AI-агентом через MCP.
Отличается полной локальностью: тексты, записи и отпечатки голоса не покидают компьютер. Облачные голоса (OpenRouter, Gemini, fal.ai, Runware) опциональны, отключены по умолчанию, требуют ключ и подтверждение перед первым вызовом. Имеет встроенный MCP-сервер на порту 8797 — агенты вроде Claude Code или Cursor управляют студией теми же функциями, что и UI. Также предоставляет OpenAI-совместимый API (/v1/audio/speech, /v1/audio/transcriptions, /v1/models) для инструментов, ожидающих OpenAI.
Основная целевая платформа — NVIDIA GPU (CUDA); остальные бэкенды (Vulkan, Metal, CPU) менее протестированы. Требует Windows, macOS (Apple Silicon) или Linux. Для MCP и API нужен запущенный экземпляр приложения; микрофон в Live-режиме включает только пользователь. Облачные функции требуют отдельные API-ключи. Распространяется как готовый бинарник из релизов GitHub.
// СЦЕНАРИИ ИСПОЛЬЗОВАНИЯ
Кому пригодится: Создателям аудиокниг, подкастов, голосовым оверлеям и разработчикам AI-агентов
- Создать аудиокнигу из EPUB с главами, персонажами и обложкой в M4B
- Расшифровать запись встречи с разметкой спикеров и таймкодами
- Озвучить сценарий видео в таймкоды субтитров с музыкой на фоне
// БЫСТРЫЙ СТАРТ
claude mcp add --transport http speech-studio http://127.0.0.1:8797/mcpКоманды взяты из README репозитория — перед запуском сверьтесь с актуальной версией на GitHub.
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram