k2-fsa/sherpa-onnx
ОФФЛАЙН РЕЧЕВАЯ ОБРАБОТКА НА ONNXRUNTIME
Библиотека для распознавания и синтеза речи, диаризации и улучшения аудио. Работает локально на 12 языках программирования и встроенных системах без интернета.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- ASR, TTS, диаризация, VAD, разделение источников и улучшение речи в одном пакете
- Поддержка 12 языков программирования, WebAssembly, Flutter и Tauri
- Работает на x86, ARM, RISC-V, RK NPU, Ascend NPU, Qualcomm NPU без интернета
- Потоковое и непотоковое распознавание, forced alignment, идентификация языка
// РАЗБОР: КАК ЭТО РАБОТАЕТ
Sherpa-onnx построена на новой генерации Kaldi и использует ONNX Runtime для инференса. Все компоненты — ASR, TTS, VAD, диаризация, разделение источников, улучшение речи, идентификация спикера и языка, Keyword Spotting, пунктуация и forced alignment — работают локально без сети. Единый API для 12 языков: C++, Python, Java, Swift, Kotlin, Dart, Go, Rust, C#, JavaScript, Pascal и WebAssembly.
В отличие от облачных сервисов и тяжелых фреймворков, sherpa-onnx ориентирована на пограничные устройства: Raspberry Pi, RISC-V, RK NPU, Ascend NPU, Qualcomm QNN, Axera NPU, Intel OpenVINO. Готовые сборки для Android, iOS, HarmonyOS, Windows, macOS, Linux (x86, x86_64, arm32, arm64, riscv64). Плагины для Flutter и Tauri с демо-приложениями ускоряют интеграцию.
Требуются модели в формате ONNX — скачиваются отдельно или обучаются самостоятельно. Для NPU нужны SDK вендоров (RKNN, QNN, CANN, AXERA SDK, OpenVINO). Потоковый ASR с низкой задержкой, качество зависит от модели. Обучения нет — только инференс.
// СЦЕНАРИИ ИСПОЛЬЗОВАНИЯ
Кому пригодится: Разработчикам голосовых интерфейсов на встроенных системах и мобильных устройствах
- Добавить оффлайн-распознавание речи в мобильное приложение на Flutter или Tauri
- Запустить диаризацию и улучшение аудио на Raspberry Pi или RK NPU без облака
- Встроить потоковый ASR и TTS в встроенную систему на RISC-V или ARM
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram