Tencent/ncnn
ВЫСОКОПРОИЗВОДИТЕЛЬНЫЙ ФРЕЙМВОРК ИНФЕРЕНСА ДЛЯ МОБИЛЬНЫХ
ncnn — фреймворк инференса нейросетей без сторонних зависимостей для мобильных, встраиваемых и десктопных платформ. Поддерживает CPU и Vulkan GPU, включает инструмент pnnx для конвертации моделей из PyTorch и ONNX.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Нет сторонних рантайм-зависимостей
- CPU и Vulkan GPU бэкенды
- Конвертер pnnx из PyTorch и ONNX
- Сборка под Android, iOS, WASM, HarmonyOS
// РАЗБОР: КАК ЭТО РАБОТАЕТ
ncnn работает как автономный движок инференса: загружает параметры и веса модели, создаёт экстрактор, выполняет прямой проход на CPU или через Vulkan-шейдеры. Архитектура ориентирована на минимальные накладные расходы — нет тяжелых рантаймов, только C++ ядро и опциональные Python-биндинги.
Отличается от аналогов (TFLite, MNN, NCNN) сочетанием нулевых зависимостей, нативной поддержки Vulkan для ускорения на мобильных GPU и собственного конвертера pnnx, который переводит графы PyTorch/ONNX в формат ncnn без промежуточных форматов. Внутри — рукописные SIMD-ядра под ARM NEON и x86 SSE/AVX, а также генерация SPIR-V для Vulkan.
Требует CMake и C++11-совместимого компилятора для сборки. Готовые артефакты есть под Linux (x86_64, arm, aarch64, riscv64, loongarch64), Windows (MSVC, MinGW), macOS, iOS, Android, HarmonyOS, WebAssembly, Jetson, Raspberry Pi, AllWinner D1, Loongson 2K1000, QNX. Для конвертации моделей нужен Python-окружение с PyTorch и установленным pnnx (pip install pnnx).
// СЦЕНАРИИ ИСПОЛЬЗОВАНИЯ
Кому пригодится: Мобильным и встраиваемым разработчикам, переносящим модели на устройства
- Деплоить классификацию изображений в Android-приложение через JNI
- Запускать детекцию объектов на Raspberry Pi с ускорением Vulkan
- Переносить PyTorch-модель в браузер через WebAssembly-сборку
// БЫСТРЫЙ СТАРТ
pip3 install pnnx
import torch
import pnnx
pnnx.export(model, "model.pt", (x,))
git clone --recursive https://github.com/Tencent/ncnn.gitКоманды взяты из README репозитория — перед запуском сверьтесь с актуальной версией на GitHub.
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram