R_REDDYX.XYZ

Inference: open-source проекты на GitHub

88 репозиториев по теме Inference, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.

// СМЕЖНЫЕ ТЕМЫ

LLM 2064Vllm 62Cuda 46Machine Learning 188Gguf 45Pytorch 91Openai API 86Qwen 101Mlx 48Local LLM 102Deep Learning 101GPU 45Apple Silicon 53Llama Cpp 49
vllm-project/vllm

Высокопроизводительный движок LLM

Высокопроизводительный и память‑эффективный движок для инференса и обслуживания больших языковых моделей.

★ 79,783 · Python
ultralytics/yolov5

YOLOV5: ОБНАРУЖЕНИЕ ОБЪЕКТОВ НА PYTORCH

Модель компьютерного зрения для обнаружения объектов, сегментации экземпляров и классификации изображений. Работает на PyTorch, поддерживает экспорт в CoreML и ONNX.

★ 58,278 · Python
ggml-org/whisper.cpp

whisper.cpp: C/C++ порт Whisper

Высокопроизводительный порт модели распознавания речи OpenAI Whisper на C/C++ для локального и кроссплатформенного использования.

★ 49,828 · C++
deepspeedai/DeepSpeed

DeepSpeed: библиотека оптимизации обучения

DeepSpeed — библиотека оптимизации deep learning, обеспечивающая эффективное распределенное обучение и инференс. Поддерживает технологии ZeRO, MoE и параллелизм для обуче

★ 43,332 · Python
hpcaitech/ColossalAI

ФРЕЙМВОРК ДЛЯ ДЕШЁВОГО ОБУЧЕНИЯ БОЛЬШИХ МОДЕЛЕЙ

Библиотека для распределённого обучения и инференса больших языковых моделей. Поддерживает стратегии параллелизма Zero, тензорную и конвейерную параллельность для снижени

★ 41,422 · Python
google-ai-edge/mediapipe

КРОСС-ПЛАТФОРМЕННЫЙ ФРЕЙМВОРК ON-DEVICE ML

MediaPipe — фреймворк Google для запуска ML на устройстве. Поддерживает мобильные платформы, веб, десктоп и IoT без отправки данных в облако.

★ 37,717 · C++
sgl-project/sglang

SGLang: Фреймворк LLM

SGLang — это высокопроизводительный фреймворк для обслуживания больших языковых и мультимодальных моделей.

★ 27,854 · Python
SYSTRAN/faster-whisper

БЫСТРАЯ ТРАНСКРИБЦИЯ РЕЧИ

Faster Whisper — ускоренная версия модели Whisper для распознавания речи, построенная на CTranslate2. Поддерживает量化 модели и обеспечивает реальное‑временное транскрибиро

★ 26,758 · Python
Tencent/ncnn

ВЫСОКОПРОИЗВОДИТЕЛЬНЫЙ ФРЕЙМВОРК ИНФЕРЕНСА ДЛЯ МОБИЛЬНЫХ

ncnn — фреймворк инференса нейросетей без сторонних зависимостей для мобильных, встраиваемых и десктопных платформ. Поддерживает CPU и Vulkan GPU, включает инструмент pnn

★ 24,068 · C++
stas00/ml-engineering

ML-ИНЖЕНИНГ ОТКРЫТАЯ КНИГА

Открытая книга по ML-инжинирингу с практическими материалами и примерами на Python.

★ 19,717 · Python
FlashML-org/FreeToken

FreeToken: локальный запуск моделей

FreeToken позволяет запускать большие ИИ‑модели на своём ПК, обеспечивая скорость и эффективность уровня дата‑центра без необходимости в облачных ресурсах.

★ 17,197 · Python
openvinotoolkit/openvino

ОПТИМИЗАЦИЯ И РАЗВЕРТЫВАНИЕ AI-МОДЕЛЕЙ

Инструментарий для оптимизации и развертывания моделей глубокого обучения. Поддерживает конвертацию из PyTorch, TensorFlow, ONNX и запуск на CPU, GPU и NPU Intel.

★ 11,656 · C++
RunanywhereAI/runanywhere-sdks

Набор SDK для локального ИИ

Готовый к продакшену инструментарий для запуска ИИ-моделей на локальном устройстве.

★ 10,350 · C++
oumi-ai/oumi

OUMI ЛЁГКАЯ НАСТРОЙКА LLM

OUMI позволяет быстро fine‑tune (SFT/RL), оценивать и развёртывать модели Qwen, Gemma и любые открытые агентные LLM/VLM без лишней сложности.

★ 9,433 · Python
xorbitsai/inference

XINFERENCE - ЛЮБАЯ LLM В ОДНУ СТРОКУ

Замените GPT на любую открытую модель, изменив одну строку кода. Запускайте LLM, мультимодальные и speech-модели через единый production-ready API.

★ 9,318 · Python
LMCache/LMCache

LMCache: Ускорение LLM

Самый быстрый слой кэширования KV для больших языковых моделей, повышающий производительность и снижающий задержки.

★ 8,292 · Python
mizorewww/laya-mlx

Быстрый MLX‑движок для Laya

Библиотека предоставляет нативный выполнитель моделей MLX для фреймворка Laya, позволяя принимать краткие решения за 7‑14 миллисекунд на чипе Apple M3 Max без использован

★ 7,102 · Python
kvcache-ai/Mooncake

MOONCAKE - ПЛАТФОРМА ДЛЯ KIMI LLM С 5400+ ЗВЁЗД

Mooncake — серверная платформа для Kimi от Moonshot AI. Высокопроизводительный сервис LLM на C++ с открытым исходным кодом.

★ 5,429 · C++
gpustack/gpustack

GPU менеджер кластера

Управление GPU-кластерами с автоматической настройкой и оркестрацией движков инференса (vLLM, SGLang) для высокопроизводительного развёртывания моделей ИИ.

★ 5,041 · Python
vllm-project/vllm-omni

vllm-omni

Фреймворк для эффективного инференса мультимодальных моделей. Объединяет текст, изображения и аудио в единой системе вывода.

★ 4,863 · Python
hao-ai-lab/FastVideo

ЕДИНЫЙ ФРЕЙМВОРК ДЛЯ УСКОРЕННОЙ ГЕНЕРАЦИИ ВИДЕО

FastVideo — единый фреймворк для пост-обучения и инференса ускоренной генерации видео. Поддерживает дистилляцию, разреженное внимание и реальное время через Dreamverse.

★ 4,831 · Python
uxlfoundation/oneDNN

ONE DNN: УСКОРЯЕМ AI НА CPU

oneDNN предоставляет высокопроизводительные реализации ядер AI для процессоров x64, AArch64, RISC‑V и Intel GPU. Он ускоряет PyTorch, TensorFlow, OpenVINO и ONNX Runtime,

★ 4,092 · C++
OpenCSGs/csghub

CSGHUB — ПЛАТФОРМА ДЛЯ LLM

CSGHub — новая открытая платформа от OpenCSG для управления LLM, датасетами и агентами. Поддерживает локальные и SaaS-развёртывания, совместим с Python SDK Hugging Face.

★ 4,082 · Vue
PaddlePaddle/FastDeploy

FASTDEPLOY — БЫСТРЫЙ ДЕПЛОЙ LLM

Высокопроизводительный тулкит для инференса и деплоя LLM и VLM на базе PaddlePaddle. 3691 ⭐

★ 3,691 · Python
llm-d/llm-d

llm-d/llm-d

Achieve state of the art inference performance with modern accelerators on Kubernetes

★ 3,247 · Shell
FlashML-org/FreeVideo

Бесплатная генерация видео

FreeVideo позволяет создавать видео на вашем компьютере, используя модель MiniMax H3, работая даже с 8 ГБ VRAM и 16 ГБ ОЗУ. Проект автоматически подбирает оптимальный пут

★ 3,094 · Python
ddalcu/mlx-serve

НАТИВНЫЙ LLM СЕРВЕР НА МАК

Сервер LLM совместим с OpenAI+Anthropic, без Python. Включает MLX Core macOS: чат, агент и вызов инструментов.

★ 2,472 · Zig
theagentrouter/agent-router

ЕДИНЫЙ ШЛЮЗ ДЛЯ AI-СЕРВИСОВ

agent-router — это шлюз на Envoy Gateway, обеспечивающий единый доступ к различным генеративным AI‑сервисам. Реализован на Go, работает в Kubernetes и поддерживает станда

★ 2,404 · Go
raullenchai/Rapid-MLX

Быстрый локальный ИИ движок

Rapid-MLX — самый быстрый локальный ИИ‑движок для Apple Silicon, работающий 4.2× быстрее Ollama и обеспечивающий кэшированное время первого токена всего 0.08с.

★ 2,185 · Python
vllm-project/vllm-ascend

VLLM-ASCEND: ПЛАГИН ДЛЯ ASCEND НА ГИТХАБЕ

Community-плагин для vLLM на железе Ascend от сообщества, написанный на C++. Набирает звёзды — уже 2156!

★ 2,156 · C++
superlinked/sie

SUPERLINKED INFERENCE ENGINE

Открытый сервер для инференса эмбеддингов, реранкинга и извлечения данных. 2000+ звёзд на GitHub.

★ 2,029 · Python
mozilla-ai/any-llm

ANY-LLM: ОДИН ИНТЕРФЕЙС ДЛЯ ВСХ LLM

Библиотека на Python для унифицированной работы с провайдерами LLM через единый интерфейс.

★ 2,010 · Python
sgl-project/sglang-omni

SGLANG-OMNI: ОМНИ-СЕРВИС ДЛЯ ИИ

SGLang-Omni обеспечивает высокопроизводительный запуск моделей TTS, ASR и речевых omni-моделей на Python.

★ 1,791 · Python
StartLuxLabs/StartLux-Decision

STARTLUX‑DECISION: ИИ РЕШЕНИЙ

Открытые модели принятия решений от 0,8 B до 27 B дают откалиброванную вероятность каждого варианта за один проход и краткий размышления только при неуверенности. Поддерж

★ 1,745 · Python
envoyproxy/ai-gateway

AI-GATEWAY: ЕДИНЫЙ ШЛЮЗ ДЛЯ AI

Проект ai-gateway обеспечивает единый доступ к различным генеративным ИИ‑сервисам через Envoy Gateway, написанный на Go.

★ 1,717 · Go
RightNow-AI/picolm

TinyML LLM для дешевых плат

Запуск языковой модели с 1 млрд параметров на устройстве за $10 с 256 МБ RAM на языке C.

★ 1,614 · C
trymirai/uzu

UZU: МОЩНЫЙ ДВИЖОК ДЛЯ AI-МОДЕЛЕЙ

Высокопроизводительный движок инференса AI-моделей на Rust. Быстро, надежно, эффективно.

★ 1,586 · Rust
RunanywhereAI/trnrt

LLM inference для AWS Trainium

Открытый движок инференса LLM для AWS Trainium с NKI-мегаядрами, поддержкой 1M токенов контекста и OpenAI-совместимым API.

★ 1,585 · Python
autonomous-ai/autonomous-computer

СОБЕРИ СВОЙ AI КОМПЬЮТЕР

Проект помогает собрать собственный персональный ИИ-компьютер с открытым исходным кодом и поддержкой автономных агентов.

★ 1,577
alibaba/rtp-llm

RTP-LLM УЛУЧШЕННЫЙ ИНФЕРЕНС LLM

Высокопроизводительный движок для инференса LLM от Alibaba, написанный на CUDA, обеспечивает быструю работу моделей в разнообразных приложениях.

★ 1,400 · Cuda
StarlightSearch/EmbedAnything

EMBEDANYTHING - МОЩНЫЙ ИНФЕРЕНС НА RUST

EmbedAnything — высокопроизводительный, модульный и memory‑safe фреймворк для inference, ingestion и индексации на Rust.

★ 1,324 · Rust
waybarrios/vllm-mlx

vllm-mlx - Сервер LLM для Apple Silicon с поддержкой мультимодальных моделей

OpenAI и Anthropic совместимый сервер для Apple Silicon. Запускайте LLM и модели с поддержкой зрения с непрерывной пакетной обработкой и вызовом инструментов MCP. 400+ то

★ 1,260 · Python
NVIDIA/kvpress

KVPRESS: СЖАТИЕ КЭША LLM

Библиотека для лёгкого сжатия KV‑кеша LLM, ускоряющая генерацию и снижающая потребление GPU памяти.

★ 1,254 · Python
theopenco/llmgateway

LLMGATEWAY: ЕДИНЫЙ API ДЛЯ ВСЕХ LLM

Управляйте запросами к разным LLM-провайдерам через один унифицированный интерфейс. 1.2K ⭐ на GitHub.

★ 1,252 · TypeScript
google/agentmesh

AGENT MESH: СЕТЕВОЙ ФРЕЙМВОРК ДЛЯ ИИ-АГЕНТОВ

Agent Mesh реализует протокол A2A для обмена сообщениями между автономными агентами на Go. Фреймворк поддерживает Model Context Protocol, предоставляет инструменты для по

★ 1,201 · Go
jmaczan/tiny-vllm

TINY VLLM: СОБЕРИ СВОЙ LLM

Мини‑версия vLLM на C++ и CUDA для быстрого вывода больших языковых моделей. Позволяет создавать собственный высокопроизводительный движок inference.

★ 1,194 · C++
chrishayuk/larql

RUST RUNTIME ДЛЯ ИНФЕРЕНСА И РЕДАКТИРОВАНИЯ LLM

larql — Runtime на Rust для запуска, сервирования и редактирования моделей. Формат VINDEX3 делает модели исполняемыми и инспектируемыми. 1173⭐ на GitHub.

★ 1,175 · Rust
usamahz/cpu-performance-engineering

Инженерия производительности CPU

Курс по изучению производительности процессора от одной инструкции до инференса в продакшене. Включает только первоисточники и запускаемый бенчмарк для каждой секции.

★ 1,160 · C
wici-ai/inferssd

МОДЕЛИ БОЛЬШЕ VRAM НА SSD

inferssd запускает MoE-модели, превышающие RAM и VRAM, стримя экспертов с SSD. Построен на llama.cpp, поддерживает GGUF, CUDA и Apple Silicon. 288 звёзд на GitHub.

★ 1,108 · C++
receptron/laya

Запуск Laya в Node.js

Проект предоставляет TypeScript-биндинги для запуска открытой модели принятия решений Laya, совместимой с Jev System-1, через ONNX Runtime в среде Node.js.

★ 1,074 · TypeScript
Andyyyy64/whichllm

Какую локальную LLM выбрать?

Найдите локальную модель с лучшей производительностью на вашем оборудовании по реальным бенчмаркам, а не по количеству параметров. Одна команда — мгновенный запуск.

★ 947 · Python
Helldez/BigMoeOnEdge

BIGMOEONEDGE - СУПЕР МОЭ НА ТЕЛЕФОНЕ

Проект позволяет запускать модели Mixture‑of‑Experts размером 284 B на устройстве с 12 ГБ ОЗУ, используя только CPU и llama.cpp без потери точности.

★ 855 · C++
TrenTorch/TrenTorch

Глубокое обучение от основ

Образовательный фреймворк для понимания ML изнутри: реализация нейросетей, CUDA-ядер и RL-алгоритмов с нуля без готовых библиотек.

★ 842 · Python
SharpAI/SwiftLM

SWIFTLM: SWIFT ДЛЯ LLM НА APPLE

Native inference сервер LLM на Swift с MLX, совместимый с OpenAI API, потоковая передача SSD для MoE >100B и сжатие KV‑кеша TurboQuant.

★ 799 · Swift
fudan-generative-vision/Remory

Remory: Компактизация контекста

Remory обучает остаточную память для сжатия визуального контекста, сохраняя ключевую информацию для генеративных моделей.

★ 746 · Python
pegainfer-project/pegainfer

PEGAINFER: РАСТ + CUDA ИНФЕР

Движок LLM на чистом Rust с CUDA‑ускорением, совместимый с OpenAI API, запускает Qwen3 и Kimi‑K2 без PyTorch.

★ 742 · Rust
jjang-ai/mlxstudio

MLX Studio — главный инструмент JANG_Q

Генерации и редактирование изображений, чат и код в одном месте с поддержкой OpenClaw и Anthropic API.

★ 727
kossisoroyce/timber

Компилятор ML-моделей в C99

AOT-компилятор, превращающий модели XGBoost, LightGBM, scikit-learn, CatBoost и ONNX в нативный C99 код с ускорением инференса до 336x по сравнению с Python.

★ 680 · Python
zhongkaifu/TensorSharp

TENSORSHARP - МОЩНЫЙ .NET LLM

Библиотека для быстрого запуска GGUF моделей на .NET с поддержкой GPU, консольного приложения, веб‑чата и API, совместимого с Ollama и OpenAI.

★ 679 · C#
Nehanth/pooled

Пул устройств для LLM

Проект позволяет объединять вычислительные мощности браузеров пользователей для запуска больших открытых языковых моделей непосредственно в браузере, обеспечивая работу ч

★ 649 · JavaScript

Новые проекты по теме — в Telegram

Telegram →
Inference — 88 open-source проектов на GitHub | REDDYX AI