R_REDDYX.XYZ
VoiceRust★ 312⑂ 32 форков

timoncool/speech-studio

ОФФЛАЙН AI СТУДИЯ ГОЛОСА НА RUST

Локальное приложение для синтеза и распознавания речи с клонированием голосов и диаризацией спикеров. Работает без интернета, скачивает модели само, поддерживает MCP для AI-агентов.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • TTS с встроенными и клонированными голосами, поддержка EPUB/FB2/PDF
  • ASR с диаризацией: кто, что и когда сказал, вырезка по словам
  • MCP-сервер и OpenAI-совместимый API для управления агентами
  • Нативный Rust+C++, CUDA/Vulkan/Metal, модели качаются в один клик

// РАЗБОР: КАК ЭТО РАБОТАЕТ

Приложение написано на Rust с нативными C++ движками (GGUF/ONNX) для CUDA, Vulkan и Metal. Никакого Python, Torch или CUDA wheels — весь стек компилируется в один исполняемый файл. При первом запуске сам скачивает модели, движки, рантаймы CUDA/VC++ и ffmpeg; если модель уже есть в другом проекте автора, берёт её оттуда. Работает в трёх режимах: Speech — озвучка текста, диалогов, подкастов и книг; Listening — распознавание с диаризацией, проверка озвучки по тексту, создание голосов; Live — голосовой диалог с AI-агентом через MCP.

Отличается полной локальностью: тексты, записи и отпечатки голоса не покидают компьютер. Облачные голоса (OpenRouter, Gemini, fal.ai, Runware) опциональны, отключены по умолчанию, требуют ключ и подтверждение перед первым вызовом. Имеет встроенный MCP-сервер на порту 8797 — агенты вроде Claude Code или Cursor управляют студией теми же функциями, что и UI. Также предоставляет OpenAI-совместимый API (/v1/audio/speech, /v1/audio/transcriptions, /v1/models) для инструментов, ожидающих OpenAI.

Основная целевая платформа — NVIDIA GPU (CUDA); остальные бэкенды (Vulkan, Metal, CPU) менее протестированы. Требует Windows, macOS (Apple Silicon) или Linux. Для MCP и API нужен запущенный экземпляр приложения; микрофон в Live-режиме включает только пользователь. Облачные функции требуют отдельные API-ключи. Распространяется как готовый бинарник из релизов GitHub.

// СЦЕНАРИИ ИСПОЛЬЗОВАНИЯ

Кому пригодится: Создателям аудиокниг, подкастов, голосовым оверлеям и разработчикам AI-агентов

  • Создать аудиокнигу из EPUB с главами, персонажами и обложкой в M4B
  • Расшифровать запись встречи с разметкой спикеров и таймкодами
  • Озвучить сценарий видео в таймкоды субтитров с музыкой на фоне

// БЫСТРЫЙ СТАРТ

claude mcp add --transport http speech-studio http://127.0.0.1:8797/mcp

Команды взяты из README репозитория — перед запуском сверьтесь с актуальной версией на GitHub.

#asr#local-ai#offline#portable#qwen3-tts#russian#rust#speech-recognition#tauri#text-to-speech#tts#voice-cloning
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

ГОЛОСОВАЯ СТУДИЯ НА MAC С MLX★ 247MIRLI — ЛОКАЛЬНЫЙ AI ДЛЯ АУДИО★ 231КОМПАКТНЫЙ TTS С КЛОНИРОВАНИЕМ ГОЛОСА★ 219ЛОКАЛЬНЫЙ SPEECH-TO-SPEECH АССИСТЕНТ НА GPU★ 448МАЛЕНЬКАЯ АНГЛИЙСКАЯ TTS-МОДЕЛЬ 4.5М ПАРАМЕТРОВ★ 673VIETNAMESE TTS С КЛОНИРОВАНИЕМ ГОЛОСА НА УСТРОЙСТВЕ★ 3432

← ВЕСЬ КАТАЛОГ

timoncool/speech-studio — Оффлайн AI студия голоса на Rust