R_REDDYX.XYZ
DevToolsC++★ 11,656⑂ 3,630 форковApache-2.0

openvinotoolkit/openvino

ОПТИМИЗАЦИЯ И РАЗВЕРТЫВАНИЕ AI-МОДЕЛЕЙ

Инструментарий для оптимизации и развертывания моделей глубокого обучения. Поддерживает конвертацию из PyTorch, TensorFlow, ONNX и запуск на CPU, GPU и NPU Intel.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Конвертирует модели из PyTorch, TensorFlow, ONNX и других фреймворков
  • Ускоряет инференс на CPU (x86/ARM), GPU Intel и NPU
  • Поддерживает LLM, диффузию, компьютерное зрение и речь
  • Предоставляет API на Python, C++, NodeJS и GenAI API

// РАЗБОР: КАК ЭТО РАБОТАЕТ

OpenVINO конвертирует модели из PyTorch, TensorFlow, ONNX, PaddlePaddle, JAX/Flax в формат IR и компилирует под CPU (x86/ARM), GPU Intel или NPU. Применяет квантование, слияние слоёв и выбор ядер для ускорения инференса.

API: Python, C++, C, NodeJS, GenAI. Отличие — нативная поддержка NPU Intel и Optimum Intel для Hugging Face (transformers, diffusers без фреймворков). Ноутбуки: LLM-чатботы, YOLOv11, Stable Diffusion, Whisper, LLaVa.

ОС: Linux, Windows, macOS. GPU/NPU нужны драйверы Intel (Level Zero, OpenCL). NPU — только Core Ultra (Meteor Lake+). Квантование может требовать калибровку. GenAI в отдельном репозитории openvinotoolkit/openvino.genai.

// СЦЕНАРИИ ИСПОЛЬЗОВАНИЯ

Кому пригодится: ML-инженерам для деплоя моделей на железо Intel

  • Конвертировать PyTorch-модель и запустить инференс на CPU за минуты
  • Развернуть LLM-чатбота на локальном NPU без облака
  • Ускорить YOLOv11 или Stable Diffusion на интегрированной GPU Intel

// БЫСТРЫЙ СТАРТ

pip install -U openvino
import openvino as ov
print(ov.__version__)

Команды взяты из README репозитория — перед запуском сверьтесь с актуальной версией на GitHub.

#ai#computer-vision#deep-learning#deploy-ai#diffusion-models#generative-ai#good-first-issue#inference#llm-inference#natural-language-processing#nlp#openvino
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

ИИ-ПОИСКОВИК С ГЕНЕРАТИВНЫМ UI★ 9339ПРИВАТНЫЙ ПОИСКОВЫЙ ДВИЖОК ДЛЯ ИСТОРИИ И ФАЙЛОВ★ 6306AI-НАТИВНЫЙ JSON GANTT ДВИЖОК★ 6224ИНСТРУМЕНТ ПОСТЕПЕННОЙ МИГРАЦИИ В RUST★ 4267РАЗБЛОКИРОВКА ТЕНЗОРНЫХ ЯДЕР GEFORCE★ 19497TUI ИНСТРУМЕНТ CODE REVIEW С VIM УПРАВЛЕНИЕМ★ 3623

← ВЕСЬ КАТАЛОГ

openvinotoolkit/openvino — Оптимизация и развертывание…