R_REDDYX.XYZ
DevToolsC++★ 24,068⑂ 4,556 форков

Tencent/ncnn

ВЫСОКОПРОИЗВОДИТЕЛЬНЫЙ ФРЕЙМВОРК ИНФЕРЕНСА ДЛЯ МОБИЛЬНЫХ

ncnn — фреймворк инференса нейросетей без сторонних зависимостей для мобильных, встраиваемых и десктопных платформ. Поддерживает CPU и Vulkan GPU, включает инструмент pnnx для конвертации моделей из PyTorch и ONNX.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Нет сторонних рантайм-зависимостей
  • CPU и Vulkan GPU бэкенды
  • Конвертер pnnx из PyTorch и ONNX
  • Сборка под Android, iOS, WASM, HarmonyOS

// РАЗБОР: КАК ЭТО РАБОТАЕТ

ncnn работает как автономный движок инференса: загружает параметры и веса модели, создаёт экстрактор, выполняет прямой проход на CPU или через Vulkan-шейдеры. Архитектура ориентирована на минимальные накладные расходы — нет тяжелых рантаймов, только C++ ядро и опциональные Python-биндинги.

Отличается от аналогов (TFLite, MNN, NCNN) сочетанием нулевых зависимостей, нативной поддержки Vulkan для ускорения на мобильных GPU и собственного конвертера pnnx, который переводит графы PyTorch/ONNX в формат ncnn без промежуточных форматов. Внутри — рукописные SIMD-ядра под ARM NEON и x86 SSE/AVX, а также генерация SPIR-V для Vulkan.

Требует CMake и C++11-совместимого компилятора для сборки. Готовые артефакты есть под Linux (x86_64, arm, aarch64, riscv64, loongarch64), Windows (MSVC, MinGW), macOS, iOS, Android, HarmonyOS, WebAssembly, Jetson, Raspberry Pi, AllWinner D1, Loongson 2K1000, QNX. Для конвертации моделей нужен Python-окружение с PyTorch и установленным pnnx (pip install pnnx).

// СЦЕНАРИИ ИСПОЛЬЗОВАНИЯ

Кому пригодится: Мобильным и встраиваемым разработчикам, переносящим модели на устройства

  • Деплоить классификацию изображений в Android-приложение через JNI
  • Запускать детекцию объектов на Raspberry Pi с ускорением Vulkan
  • Переносить PyTorch-модель в браузер через WebAssembly-сборку

// БЫСТРЫЙ СТАРТ

pip3 install pnnx
import torch
import pnnx
pnnx.export(model, "model.pt", (x,))
git clone --recursive https://github.com/Tencent/ncnn.git

Команды взяты из README репозитория — перед запуском сверьтесь с актуальной версией на GitHub.

#android#arm-neon#artificial-intelligence#caffe#darknet#deep-learning#high-preformance#inference#ios#keras#mlir#mxnet
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

ОТКРЫТАЯ ВИКИ И ДОКУМЕНТАЦИЯ★ 22376ПЛАТФОРМА ДЛЯ СОЗДАНИЯ IDE В ОБЛАКЕ И DESKTOP★ 21779ОТКРЫТЫЙ ИНСТРУМЕНТ ДИЗАЙНА В КОДЕ★ 27239KEYPLOY: АВТОГЕНЕРАЦИЯ ТЕСТОВ ИЗ ТРАФИКА★ 19869РАЗБЛОКИРОВКА ТЕНЗОРНЫХ ЯДЕР GEFORCE★ 19497ОПТИМИЗАЦИЯ И РАЗВЕРТЫВАНИЕ AI-МОДЕЛЕЙ★ 11656

← ВЕСЬ КАТАЛОГ

Tencent/ncnn — Высокопроизводительный фреймворк инференса…