R_REDDYX.XYZ

Inference Engine: open-source проекты на GitHub

18 репозиториев по теме Inference Engine, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.

// СМЕЖНЫЕ ТЕМЫ

LLM 2064LLM Inference 76Local LLM 102Qwen 101Mixture Of Experts 19Speculative Decoding 21Cuda 46Moe 23LLM Serving 23Openai API 86Qwen3 30Gguf 45Inference 88Machine Learning 188
FareedKhan-dev/kimi-k3-in-c

KIMI K3: 2.78 ТРЛН ПАРАМЕТРОВ

Запуск модели Kimi K3 с 2,78 трлн параметров на одном CPU, используя всего 8,24 ГБ RAM без BLAS, фреймворков и GPU.

★ 12,109 · C
FedML-AI/FedML

Универсальная платформа FedML

Универсальная библиотека для распределённого обучения, сервиса моделей и федеративного обучения с кросc-облачным планировщиком.

★ 4,046 · Python
youssofal/MTPLX

МТПЛХ СУПЕРБЫСТРЫЙ ЗАПУСК

MTPLX позволяет запускать Qwen 3.8 Flash Next и Qwen 3.8 27B на Mac достигая 125 токенов/сек в OpenCode. Благодаря MTP speculative decoding на Apple Silicon результаты то

★ 2,706 · Python
datawhalechina/zero-to-sglang

ZERO-TO-SGLANG: ОБУЧЕНИЕ LLM ИНФЕРЕНСУ

Курс от Datawhale и SGLang教你 с нуля понять инференс LLM, собрать мини‑версию SGLang и изучить исходный код, чтобы оформить первый PR. Доступно на английском и китайском.

★ 2,136 · Python
ovg-project/kvcached

KVCACHED: УСКОРИТЕ GPU КЭШ

Виртуализированный эластичный KV‑кеш для динамического совместного использования GPU, ускоряет inference LLM и снижает задержки.

★ 2,041 · Python
nobodywho-ooo/nobodywho

RUN LLM ЛОКАЛЬНО С NOBODYWHO

NobodyWho позволяет запускать LLM локально на любом устройстве благодаря эффективному инференс‑движку на Rust.

★ 1,677 · Rust
peonist-ai/halogen-flash-server

БЫСТРЫЙ ЗАПУСК QWEN3.8 НА AMD

Проект предоставляет скрипты для мгновенного развёртывания Qwen3.8-Flash-Next на GPU AMD Strix Halo (gfx1151) через HIP. Все зависимости собираются автоматически, а infer

★ 1,349 · Shell
simplexai-labs/PolyStrata

ЗАПУСТИ БОЛЬШИЕ LLM ЛОКАЛЬНО

PolyStrata позволяет запускать Qwen3.8-Flash, GLM 5.3 Flash, DeepSeek V4 и другие модели на своем ПК. Установка за один клик на Windows и Linux с поддержкой OpenAI/Anthro

★ 1,037 · C++
pegainfer-project/pegainfer

PEGAINFER: РАСТ + CUDA ИНФЕР

Движок LLM на чистом Rust с CUDA‑ускорением, совместимый с OpenAI API, запускает Qwen3 и Kimi‑K2 без PyTorch.

★ 742 · Rust
ARahim3/mlx-dspark

MLX-DSPARK: УСКОРЕНИЕ LLM В 4X

Портативный MLX-порт DeepSeek DSpark и z‑lab DFlash для ускорения декодирования LLM на Apple Silicon до 4× без потери качества.

★ 740 · Python
jjang-ai/mlxstudio

MLX Studio — главный инструмент JANG_Q

Генерации и редактирование изображений, чат и код в одном месте с поддержкой OpenClaw и Anthropic API.

★ 727
prabanta-dev/janas

JANAS: БЫСТРЫЙ ИНФЕРЕНС LLM

janas запускает huge LLM (до 48 ГБ) на ноутбуке 32 ГБ, обгоняя llama.cpp в 8‑10 раз. На Qwen3-Next-80B даёт 37 ток/сек без draft и 62 ток/сек при чтении GGUF. Поддерживае

★ 712 · C
zhongkaifu/TensorSharp

TENSORSHARP - МОЩНЫЙ .NET LLM

Библиотека для быстрого запуска GGUF моделей на .NET с поддержкой GPU, консольного приложения, веб‑чата и API, совместимого с Ollama и OpenAI.

★ 679 · C#
OmniJev/Flide

FLIDE: МГНОВЕННЫЙ ИНФЕРЕНС РЕШЕНИЙ

Flide — движок вывода для моделей принятия решений с поддержкой CUDA. Обеспечивает детерминированный инференс Gemma и других моделей за микросекунды. Идеален для AI-агент

★ 501 · Python
kigner/audio.cpp-webui

audio.cpp WebUI на C++

Полноценный веб‑интерфейс для inference аудио моделей на чистом C++ с использованием ggml. Поддерживает TTS, ASR/STT, VAD, диаризацию, голосовое преобразование и генераци

★ 431 · C++
pie-project/pie

PIE — СЕРВИНГ МОДЕЛЕЙ НА RUST

Программируемый движок для высокопроизводительного сервинга LLM и диффузионных моделей. Написан на Rust, поддерживает батчинг, кэширование KV и динамическую загрузку адап

★ 240 · Rust
giannisanni/pulsar

PULSAR — УЛЬТРАБЫСТРЫЙ ИНФЕРЕНС MOE

Pulsar — SSD‑стриминговый движок для гигантских MoE‑моделей на Rust+CUDA.

★ 238 · Rust
InferMatrixLab/vllm-rlt

VLLM ИНФЕРЕНС: LOOPED TRANSFORMERS

vllm-rlt — движок вывода в стиле vLLM для looped transformers. Реализует планирование и выполнение на уровне циклов через композируемые стадии. 207 звёзд на GitHub.

★ 227 · Python

Новые проекты по теме — в Telegram

Telegram →
Inference Engine — 18 open-source проектов на GitHub | REDDYX AI