Inference: open-source проекты на GitHub
88 репозиториев по теме Inference, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.
// СМЕЖНЫЕ ТЕМЫ
Высокопроизводительный движок LLM
Высокопроизводительный и память‑эффективный движок для инференса и обслуживания больших языковых моделей.
★ 79,783 · PythonYOLOV5: ОБНАРУЖЕНИЕ ОБЪЕКТОВ НА PYTORCH
Модель компьютерного зрения для обнаружения объектов, сегментации экземпляров и классификации изображений. Работает на PyTorch, поддерживает экспорт в CoreML и ONNX.
★ 58,278 · Pythonwhisper.cpp: C/C++ порт Whisper
Высокопроизводительный порт модели распознавания речи OpenAI Whisper на C/C++ для локального и кроссплатформенного использования.
★ 49,828 · C++DeepSpeed: библиотека оптимизации обучения
DeepSpeed — библиотека оптимизации deep learning, обеспечивающая эффективное распределенное обучение и инференс. Поддерживает технологии ZeRO, MoE и параллелизм для обуче
★ 43,332 · PythonФРЕЙМВОРК ДЛЯ ДЕШЁВОГО ОБУЧЕНИЯ БОЛЬШИХ МОДЕЛЕЙ
Библиотека для распределённого обучения и инференса больших языковых моделей. Поддерживает стратегии параллелизма Zero, тензорную и конвейерную параллельность для снижени
★ 41,422 · PythonКРОСС-ПЛАТФОРМЕННЫЙ ФРЕЙМВОРК ON-DEVICE ML
MediaPipe — фреймворк Google для запуска ML на устройстве. Поддерживает мобильные платформы, веб, десктоп и IoT без отправки данных в облако.
★ 37,717 · C++SGLang: Фреймворк LLM
SGLang — это высокопроизводительный фреймворк для обслуживания больших языковых и мультимодальных моделей.
★ 27,854 · PythonБЫСТРАЯ ТРАНСКРИБЦИЯ РЕЧИ
Faster Whisper — ускоренная версия модели Whisper для распознавания речи, построенная на CTranslate2. Поддерживает量化 модели и обеспечивает реальное‑временное транскрибиро
★ 26,758 · PythonВЫСОКОПРОИЗВОДИТЕЛЬНЫЙ ФРЕЙМВОРК ИНФЕРЕНСА ДЛЯ МОБИЛЬНЫХ
ncnn — фреймворк инференса нейросетей без сторонних зависимостей для мобильных, встраиваемых и десктопных платформ. Поддерживает CPU и Vulkan GPU, включает инструмент pnn
★ 24,068 · C++ML-ИНЖЕНИНГ ОТКРЫТАЯ КНИГА
Открытая книга по ML-инжинирингу с практическими материалами и примерами на Python.
★ 19,717 · PythonFreeToken: локальный запуск моделей
FreeToken позволяет запускать большие ИИ‑модели на своём ПК, обеспечивая скорость и эффективность уровня дата‑центра без необходимости в облачных ресурсах.
★ 17,197 · PythonОПТИМИЗАЦИЯ И РАЗВЕРТЫВАНИЕ AI-МОДЕЛЕЙ
Инструментарий для оптимизации и развертывания моделей глубокого обучения. Поддерживает конвертацию из PyTorch, TensorFlow, ONNX и запуск на CPU, GPU и NPU Intel.
★ 11,656 · C++Набор SDK для локального ИИ
Готовый к продакшену инструментарий для запуска ИИ-моделей на локальном устройстве.
★ 10,350 · C++OUMI ЛЁГКАЯ НАСТРОЙКА LLM
OUMI позволяет быстро fine‑tune (SFT/RL), оценивать и развёртывать модели Qwen, Gemma и любые открытые агентные LLM/VLM без лишней сложности.
★ 9,433 · PythonXINFERENCE - ЛЮБАЯ LLM В ОДНУ СТРОКУ
Замените GPT на любую открытую модель, изменив одну строку кода. Запускайте LLM, мультимодальные и speech-модели через единый production-ready API.
★ 9,318 · PythonLMCache: Ускорение LLM
Самый быстрый слой кэширования KV для больших языковых моделей, повышающий производительность и снижающий задержки.
★ 8,292 · PythonБыстрый MLX‑движок для Laya
Библиотека предоставляет нативный выполнитель моделей MLX для фреймворка Laya, позволяя принимать краткие решения за 7‑14 миллисекунд на чипе Apple M3 Max без использован
★ 7,102 · PythonMOONCAKE - ПЛАТФОРМА ДЛЯ KIMI LLM С 5400+ ЗВЁЗД
Mooncake — серверная платформа для Kimi от Moonshot AI. Высокопроизводительный сервис LLM на C++ с открытым исходным кодом.
★ 5,429 · C++GPU менеджер кластера
Управление GPU-кластерами с автоматической настройкой и оркестрацией движков инференса (vLLM, SGLang) для высокопроизводительного развёртывания моделей ИИ.
★ 5,041 · Pythonvllm-omni
Фреймворк для эффективного инференса мультимодальных моделей. Объединяет текст, изображения и аудио в единой системе вывода.
★ 4,863 · PythonЕДИНЫЙ ФРЕЙМВОРК ДЛЯ УСКОРЕННОЙ ГЕНЕРАЦИИ ВИДЕО
FastVideo — единый фреймворк для пост-обучения и инференса ускоренной генерации видео. Поддерживает дистилляцию, разреженное внимание и реальное время через Dreamverse.
★ 4,831 · PythonONE DNN: УСКОРЯЕМ AI НА CPU
oneDNN предоставляет высокопроизводительные реализации ядер AI для процессоров x64, AArch64, RISC‑V и Intel GPU. Он ускоряет PyTorch, TensorFlow, OpenVINO и ONNX Runtime,
★ 4,092 · C++CSGHUB — ПЛАТФОРМА ДЛЯ LLM
CSGHub — новая открытая платформа от OpenCSG для управления LLM, датасетами и агентами. Поддерживает локальные и SaaS-развёртывания, совместим с Python SDK Hugging Face.
★ 4,082 · VueFASTDEPLOY — БЫСТРЫЙ ДЕПЛОЙ LLM
Высокопроизводительный тулкит для инференса и деплоя LLM и VLM на базе PaddlePaddle. 3691 ⭐
★ 3,691 · Pythonllm-d/llm-d
Achieve state of the art inference performance with modern accelerators on Kubernetes
★ 3,247 · ShellБесплатная генерация видео
FreeVideo позволяет создавать видео на вашем компьютере, используя модель MiniMax H3, работая даже с 8 ГБ VRAM и 16 ГБ ОЗУ. Проект автоматически подбирает оптимальный пут
★ 3,094 · PythonНАТИВНЫЙ LLM СЕРВЕР НА МАК
Сервер LLM совместим с OpenAI+Anthropic, без Python. Включает MLX Core macOS: чат, агент и вызов инструментов.
★ 2,472 · ZigЕДИНЫЙ ШЛЮЗ ДЛЯ AI-СЕРВИСОВ
agent-router — это шлюз на Envoy Gateway, обеспечивающий единый доступ к различным генеративным AI‑сервисам. Реализован на Go, работает в Kubernetes и поддерживает станда
★ 2,404 · GoБыстрый локальный ИИ движок
Rapid-MLX — самый быстрый локальный ИИ‑движок для Apple Silicon, работающий 4.2× быстрее Ollama и обеспечивающий кэшированное время первого токена всего 0.08с.
★ 2,185 · PythonVLLM-ASCEND: ПЛАГИН ДЛЯ ASCEND НА ГИТХАБЕ
Community-плагин для vLLM на железе Ascend от сообщества, написанный на C++. Набирает звёзды — уже 2156!
★ 2,156 · C++SUPERLINKED INFERENCE ENGINE
Открытый сервер для инференса эмбеддингов, реранкинга и извлечения данных. 2000+ звёзд на GitHub.
★ 2,029 · PythonANY-LLM: ОДИН ИНТЕРФЕЙС ДЛЯ ВСХ LLM
Библиотека на Python для унифицированной работы с провайдерами LLM через единый интерфейс.
★ 2,010 · PythonSGLANG-OMNI: ОМНИ-СЕРВИС ДЛЯ ИИ
SGLang-Omni обеспечивает высокопроизводительный запуск моделей TTS, ASR и речевых omni-моделей на Python.
★ 1,791 · PythonSTARTLUX‑DECISION: ИИ РЕШЕНИЙ
Открытые модели принятия решений от 0,8 B до 27 B дают откалиброванную вероятность каждого варианта за один проход и краткий размышления только при неуверенности. Поддерж
★ 1,745 · PythonAI-GATEWAY: ЕДИНЫЙ ШЛЮЗ ДЛЯ AI
Проект ai-gateway обеспечивает единый доступ к различным генеративным ИИ‑сервисам через Envoy Gateway, написанный на Go.
★ 1,717 · GoTinyML LLM для дешевых плат
Запуск языковой модели с 1 млрд параметров на устройстве за $10 с 256 МБ RAM на языке C.
★ 1,614 · CUZU: МОЩНЫЙ ДВИЖОК ДЛЯ AI-МОДЕЛЕЙ
Высокопроизводительный движок инференса AI-моделей на Rust. Быстро, надежно, эффективно.
★ 1,586 · RustLLM inference для AWS Trainium
Открытый движок инференса LLM для AWS Trainium с NKI-мегаядрами, поддержкой 1M токенов контекста и OpenAI-совместимым API.
★ 1,585 · PythonСОБЕРИ СВОЙ AI КОМПЬЮТЕР
Проект помогает собрать собственный персональный ИИ-компьютер с открытым исходным кодом и поддержкой автономных агентов.
★ 1,577RTP-LLM УЛУЧШЕННЫЙ ИНФЕРЕНС LLM
Высокопроизводительный движок для инференса LLM от Alibaba, написанный на CUDA, обеспечивает быструю работу моделей в разнообразных приложениях.
★ 1,400 · CudaEMBEDANYTHING - МОЩНЫЙ ИНФЕРЕНС НА RUST
EmbedAnything — высокопроизводительный, модульный и memory‑safe фреймворк для inference, ingestion и индексации на Rust.
★ 1,324 · Rustvllm-mlx - Сервер LLM для Apple Silicon с поддержкой мультимодальных моделей
OpenAI и Anthropic совместимый сервер для Apple Silicon. Запускайте LLM и модели с поддержкой зрения с непрерывной пакетной обработкой и вызовом инструментов MCP. 400+ то
★ 1,260 · PythonKVPRESS: СЖАТИЕ КЭША LLM
Библиотека для лёгкого сжатия KV‑кеша LLM, ускоряющая генерацию и снижающая потребление GPU памяти.
★ 1,254 · PythonLLMGATEWAY: ЕДИНЫЙ API ДЛЯ ВСЕХ LLM
Управляйте запросами к разным LLM-провайдерам через один унифицированный интерфейс. 1.2K ⭐ на GitHub.
★ 1,252 · TypeScriptAGENT MESH: СЕТЕВОЙ ФРЕЙМВОРК ДЛЯ ИИ-АГЕНТОВ
Agent Mesh реализует протокол A2A для обмена сообщениями между автономными агентами на Go. Фреймворк поддерживает Model Context Protocol, предоставляет инструменты для по
★ 1,201 · GoTINY VLLM: СОБЕРИ СВОЙ LLM
Мини‑версия vLLM на C++ и CUDA для быстрого вывода больших языковых моделей. Позволяет создавать собственный высокопроизводительный движок inference.
★ 1,194 · C++RUST RUNTIME ДЛЯ ИНФЕРЕНСА И РЕДАКТИРОВАНИЯ LLM
larql — Runtime на Rust для запуска, сервирования и редактирования моделей. Формат VINDEX3 делает модели исполняемыми и инспектируемыми. 1173⭐ на GitHub.
★ 1,175 · RustИнженерия производительности CPU
Курс по изучению производительности процессора от одной инструкции до инференса в продакшене. Включает только первоисточники и запускаемый бенчмарк для каждой секции.
★ 1,160 · CМОДЕЛИ БОЛЬШЕ VRAM НА SSD
inferssd запускает MoE-модели, превышающие RAM и VRAM, стримя экспертов с SSD. Построен на llama.cpp, поддерживает GGUF, CUDA и Apple Silicon. 288 звёзд на GitHub.
★ 1,108 · C++Запуск Laya в Node.js
Проект предоставляет TypeScript-биндинги для запуска открытой модели принятия решений Laya, совместимой с Jev System-1, через ONNX Runtime в среде Node.js.
★ 1,074 · TypeScriptКакую локальную LLM выбрать?
Найдите локальную модель с лучшей производительностью на вашем оборудовании по реальным бенчмаркам, а не по количеству параметров. Одна команда — мгновенный запуск.
★ 947 · PythonBIGMOEONEDGE - СУПЕР МОЭ НА ТЕЛЕФОНЕ
Проект позволяет запускать модели Mixture‑of‑Experts размером 284 B на устройстве с 12 ГБ ОЗУ, используя только CPU и llama.cpp без потери точности.
★ 855 · C++Глубокое обучение от основ
Образовательный фреймворк для понимания ML изнутри: реализация нейросетей, CUDA-ядер и RL-алгоритмов с нуля без готовых библиотек.
★ 842 · PythonSWIFTLM: SWIFT ДЛЯ LLM НА APPLE
Native inference сервер LLM на Swift с MLX, совместимый с OpenAI API, потоковая передача SSD для MoE >100B и сжатие KV‑кеша TurboQuant.
★ 799 · SwiftRemory: Компактизация контекста
Remory обучает остаточную память для сжатия визуального контекста, сохраняя ключевую информацию для генеративных моделей.
★ 746 · PythonPEGAINFER: РАСТ + CUDA ИНФЕР
Движок LLM на чистом Rust с CUDA‑ускорением, совместимый с OpenAI API, запускает Qwen3 и Kimi‑K2 без PyTorch.
★ 742 · RustMLX Studio — главный инструмент JANG_Q
Генерации и редактирование изображений, чат и код в одном месте с поддержкой OpenClaw и Anthropic API.
★ 727Компилятор ML-моделей в C99
AOT-компилятор, превращающий модели XGBoost, LightGBM, scikit-learn, CatBoost и ONNX в нативный C99 код с ускорением инференса до 336x по сравнению с Python.
★ 680 · PythonTENSORSHARP - МОЩНЫЙ .NET LLM
Библиотека для быстрого запуска GGUF моделей на .NET с поддержкой GPU, консольного приложения, веб‑чата и API, совместимого с Ollama и OpenAI.
★ 679 · C#Пул устройств для LLM
Проект позволяет объединять вычислительные мощности браузеров пользователей для запуска больших открытых языковых моделей непосредственно в браузере, обеспечивая работу ч
★ 649 · JavaScriptНовые проекты по теме — в Telegram
Telegram →