R_REDDYX.XYZ
VoiceC++★ 16,007⑂ 1,882 форковApache-2.0

k2-fsa/sherpa-onnx

ОФФЛАЙН РЕЧЕВАЯ ОБРАБОТКА НА ONNXRUNTIME

Библиотека для распознавания и синтеза речи, диаризации и улучшения аудио. Работает локально на 12 языках программирования и встроенных системах без интернета.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • ASR, TTS, диаризация, VAD, разделение источников и улучшение речи в одном пакете
  • Поддержка 12 языков программирования, WebAssembly, Flutter и Tauri
  • Работает на x86, ARM, RISC-V, RK NPU, Ascend NPU, Qualcomm NPU без интернета
  • Потоковое и непотоковое распознавание, forced alignment, идентификация языка

// РАЗБОР: КАК ЭТО РАБОТАЕТ

Sherpa-onnx построена на новой генерации Kaldi и использует ONNX Runtime для инференса. Все компоненты — ASR, TTS, VAD, диаризация, разделение источников, улучшение речи, идентификация спикера и языка, Keyword Spotting, пунктуация и forced alignment — работают локально без сети. Единый API для 12 языков: C++, Python, Java, Swift, Kotlin, Dart, Go, Rust, C#, JavaScript, Pascal и WebAssembly.

В отличие от облачных сервисов и тяжелых фреймворков, sherpa-onnx ориентирована на пограничные устройства: Raspberry Pi, RISC-V, RK NPU, Ascend NPU, Qualcomm QNN, Axera NPU, Intel OpenVINO. Готовые сборки для Android, iOS, HarmonyOS, Windows, macOS, Linux (x86, x86_64, arm32, arm64, riscv64). Плагины для Flutter и Tauri с демо-приложениями ускоряют интеграцию.

Требуются модели в формате ONNX — скачиваются отдельно или обучаются самостоятельно. Для NPU нужны SDK вендоров (RKNN, QNN, CANN, AXERA SDK, OpenVINO). Потоковый ASR с низкой задержкой, качество зависит от модели. Обучения нет — только инференс.

// СЦЕНАРИИ ИСПОЛЬЗОВАНИЯ

Кому пригодится: Разработчикам голосовых интерфейсов на встроенных системах и мобильных устройствах

  • Добавить оффлайн-распознавание речи в мобильное приложение на Flutter или Tauri
  • Запустить диаризацию и улучшение аудио на Raspberry Pi или RK NPU без облака
  • Встроить потоковый ASR и TTS в встроенную систему на RISC-V или ARM
#aarch64#android#arm32#asr#cpp#csharp#dotnet#ios#lazarus#linux#macos#mfc
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

NVIDIA NEMO SPEECH — ФРЕЙМВОРК ДЛЯ SPEECH AI И МУЛЬТИМОДАЛЬНЫХ LLM★ 18764ЛОКАЛЬНЫЙ ГОЛОСОВОЙ ДИКТОВАНИЕ ДЛЯ ВСЕХ ОС★ 6802DOCKER-WRAPPER KOKORO-82M TTS С OPENAI API★ 5706VIETNAMESE TTS С КЛОНИРОВАНИЕМ ГОЛОСА НА УСТРОЙСТВЕ★ 3432МАЛЕНЬКАЯ АНГЛИЙСКАЯ TTS-МОДЕЛЬ 4.5М ПАРАМЕТРОВ★ 673ЛОКАЛЬНЫЙ SPEECH-TO-SPEECH АССИСТЕНТ НА GPU★ 448

← ВЕСЬ КАТАЛОГ

k2-fsa/sherpa-onnx — Оффлайн речевая обработка на Onnxruntime