NVIDIA-NeMo/Speech
NVIDIA NEMO SPEECH — ФРЕЙМВОРК ДЛЯ SPEECH AI И МУЛЬТИМОДАЛЬНЫХ LLM
Масштабируемый фреймворк для ASR, TTS и речевых LLM. Позволяет создавать, настраивать и развёртывать модели речи с готовыми чекпоинтами.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Nemotron 3.5 Transcribe: офлайн LLM для 40 языков до 1 часа аудио
- Потоковый ASR с управляемой задержкой 80 мс–1 с на FastConformer
- MagpieTTS v2607: 12 языков, Nemotron 3 VoiceChat — полнодуплексный диалог
- Работает поверх вашего Python/PyTorch/CUDA без замены стека
// РАЗБОР: КАК ЭТО РАБОТАЕТ
NeMo Speech 3.0 — фреймворк на PyTorch для обучения и инференса речевых моделей: ASR, TTS, speaker diarization/recognition и речевых LLM. Архитектура модульная: конфиги YAML, классы-модули, поддержка распределённого обучения через PyTorch Lightning. Чекпоинты распространяются через Hugging Face и NGC-контейнеры.
Ключевая особенность — семейство Nemotron: единые чекпоинты для офлайн/стримингового режимов с управлением латентностью (Nemotron-Speech-Streaming, Parakeet-unified). MagpieTTS покрывает 12 языков. VoiceChat реализует полнодуплекс на базе Nemotron Nano v2. Есть production-ready NIM-микросервисы.
Требует Python 3.12+, PyTorch 2.7+, GPU NVIDIA с CUDA для обучения (для инференса рекомендуется). Устанавливается поверх существующего окружения без замены PyTorch. Тестируемые сборки: Python 3.13 + PyTorch 2.11/CUDA 12.9 или 2.12/CUDA 13.2. Репозиторий с 2026 года фокусируется только на аудио/речи/мультимодальности.
// СЦЕНАРИИ ИСПОЛЬЗОВАНИЯ
Кому пригодится: Исследователям и разработчикам Speech AI, ASR/TTS, мультимодальных LLM
- Обучить и развернуть стриминговый ASR с задержкой под 100 мс для колл-центра
- Сгенерировать речь на 12 языках через MagpieTTS для мультиязычного продукта
- Запустить офлайн-транскрибацию часового аудио с атрибуцией спикеров и переводом
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram