R_REDDYX.XYZ
VoicePython★ 18,764⑂ 3,696 форковApache-2.0

NVIDIA-NeMo/Speech

NVIDIA NEMO SPEECH — ФРЕЙМВОРК ДЛЯ SPEECH AI И МУЛЬТИМОДАЛЬНЫХ LLM

Масштабируемый фреймворк для ASR, TTS и речевых LLM. Позволяет создавать, настраивать и развёртывать модели речи с готовыми чекпоинтами.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Nemotron 3.5 Transcribe: офлайн LLM для 40 языков до 1 часа аудио
  • Потоковый ASR с управляемой задержкой 80 мс–1 с на FastConformer
  • MagpieTTS v2607: 12 языков, Nemotron 3 VoiceChat — полнодуплексный диалог
  • Работает поверх вашего Python/PyTorch/CUDA без замены стека

// РАЗБОР: КАК ЭТО РАБОТАЕТ

NeMo Speech 3.0 — фреймворк на PyTorch для обучения и инференса речевых моделей: ASR, TTS, speaker diarization/recognition и речевых LLM. Архитектура модульная: конфиги YAML, классы-модули, поддержка распределённого обучения через PyTorch Lightning. Чекпоинты распространяются через Hugging Face и NGC-контейнеры.

Ключевая особенность — семейство Nemotron: единые чекпоинты для офлайн/стримингового режимов с управлением латентностью (Nemotron-Speech-Streaming, Parakeet-unified). MagpieTTS покрывает 12 языков. VoiceChat реализует полнодуплекс на базе Nemotron Nano v2. Есть production-ready NIM-микросервисы.

Требует Python 3.12+, PyTorch 2.7+, GPU NVIDIA с CUDA для обучения (для инференса рекомендуется). Устанавливается поверх существующего окружения без замены PyTorch. Тестируемые сборки: Python 3.13 + PyTorch 2.11/CUDA 12.9 или 2.12/CUDA 13.2. Репозиторий с 2026 года фокусируется только на аудио/речи/мультимодальности.

// СЦЕНАРИИ ИСПОЛЬЗОВАНИЯ

Кому пригодится: Исследователям и разработчикам Speech AI, ASR/TTS, мультимодальных LLM

  • Обучить и развернуть стриминговый ASR с задержкой под 100 мс для колл-центра
  • Сгенерировать речь на 12 языках через MagpieTTS для мультиязычного продукта
  • Запустить офлайн-транскрибацию часового аудио с атрибуцией спикеров и переводом
#asr#deeplearning#generative-ai#machine-translation#neural-networks#speaker-diariazation#speaker-recognition#speech-synthesis#speech-translation#tts
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

ОФФЛАЙН РЕЧЕВАЯ ОБРАБОТКА НА ONNXRUNTIME★ 16007ЛОКАЛЬНЫЙ ГОЛОСОВОЙ ДИКТОВАНИЕ ДЛЯ ВСЕХ ОС★ 6802DOCKER-WRAPPER KOKORO-82M TTS С OPENAI API★ 5706VIETNAMESE TTS С КЛОНИРОВАНИЕМ ГОЛОСА НА УСТРОЙСТВЕ★ 3432МАЛЕНЬКАЯ АНГЛИЙСКАЯ TTS-МОДЕЛЬ 4.5М ПАРАМЕТРОВ★ 673ЛОКАЛЬНЫЙ SPEECH-TO-SPEECH АССИСТЕНТ НА GPU★ 448

← ВЕСЬ КАТАЛОГ

NVIDIA-NeMo/Speech — Nvidia Nemo Speech — фреймворк для…