Inference Engine: open-source проекты на GitHub
18 репозиториев по теме Inference Engine, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.
// СМЕЖНЫЕ ТЕМЫ
KIMI K3: 2.78 ТРЛН ПАРАМЕТРОВ
Запуск модели Kimi K3 с 2,78 трлн параметров на одном CPU, используя всего 8,24 ГБ RAM без BLAS, фреймворков и GPU.
★ 12,109 · CУниверсальная платформа FedML
Универсальная библиотека для распределённого обучения, сервиса моделей и федеративного обучения с кросc-облачным планировщиком.
★ 4,046 · PythonМТПЛХ СУПЕРБЫСТРЫЙ ЗАПУСК
MTPLX позволяет запускать Qwen 3.8 Flash Next и Qwen 3.8 27B на Mac достигая 125 токенов/сек в OpenCode. Благодаря MTP speculative decoding на Apple Silicon результаты то
★ 2,706 · PythonZERO-TO-SGLANG: ОБУЧЕНИЕ LLM ИНФЕРЕНСУ
Курс от Datawhale и SGLang教你 с нуля понять инференс LLM, собрать мини‑версию SGLang и изучить исходный код, чтобы оформить первый PR. Доступно на английском и китайском.
★ 2,136 · PythonKVCACHED: УСКОРИТЕ GPU КЭШ
Виртуализированный эластичный KV‑кеш для динамического совместного использования GPU, ускоряет inference LLM и снижает задержки.
★ 2,041 · PythonRUN LLM ЛОКАЛЬНО С NOBODYWHO
NobodyWho позволяет запускать LLM локально на любом устройстве благодаря эффективному инференс‑движку на Rust.
★ 1,677 · RustБЫСТРЫЙ ЗАПУСК QWEN3.8 НА AMD
Проект предоставляет скрипты для мгновенного развёртывания Qwen3.8-Flash-Next на GPU AMD Strix Halo (gfx1151) через HIP. Все зависимости собираются автоматически, а infer
★ 1,349 · ShellЗАПУСТИ БОЛЬШИЕ LLM ЛОКАЛЬНО
PolyStrata позволяет запускать Qwen3.8-Flash, GLM 5.3 Flash, DeepSeek V4 и другие модели на своем ПК. Установка за один клик на Windows и Linux с поддержкой OpenAI/Anthro
★ 1,037 · C++PEGAINFER: РАСТ + CUDA ИНФЕР
Движок LLM на чистом Rust с CUDA‑ускорением, совместимый с OpenAI API, запускает Qwen3 и Kimi‑K2 без PyTorch.
★ 742 · RustMLX-DSPARK: УСКОРЕНИЕ LLM В 4X
Портативный MLX-порт DeepSeek DSpark и z‑lab DFlash для ускорения декодирования LLM на Apple Silicon до 4× без потери качества.
★ 740 · PythonMLX Studio — главный инструмент JANG_Q
Генерации и редактирование изображений, чат и код в одном месте с поддержкой OpenClaw и Anthropic API.
★ 727JANAS: БЫСТРЫЙ ИНФЕРЕНС LLM
janas запускает huge LLM (до 48 ГБ) на ноутбуке 32 ГБ, обгоняя llama.cpp в 8‑10 раз. На Qwen3-Next-80B даёт 37 ток/сек без draft и 62 ток/сек при чтении GGUF. Поддерживае
★ 712 · CTENSORSHARP - МОЩНЫЙ .NET LLM
Библиотека для быстрого запуска GGUF моделей на .NET с поддержкой GPU, консольного приложения, веб‑чата и API, совместимого с Ollama и OpenAI.
★ 679 · C#FLIDE: МГНОВЕННЫЙ ИНФЕРЕНС РЕШЕНИЙ
Flide — движок вывода для моделей принятия решений с поддержкой CUDA. Обеспечивает детерминированный инференс Gemma и других моделей за микросекунды. Идеален для AI-агент
★ 501 · Pythonaudio.cpp WebUI на C++
Полноценный веб‑интерфейс для inference аудио моделей на чистом C++ с использованием ggml. Поддерживает TTS, ASR/STT, VAD, диаризацию, голосовое преобразование и генераци
★ 431 · C++PIE — СЕРВИНГ МОДЕЛЕЙ НА RUST
Программируемый движок для высокопроизводительного сервинга LLM и диффузионных моделей. Написан на Rust, поддерживает батчинг, кэширование KV и динамическую загрузку адап
★ 240 · RustPULSAR — УЛЬТРАБЫСТРЫЙ ИНФЕРЕНС MOE
Pulsar — SSD‑стриминговый движок для гигантских MoE‑моделей на Rust+CUDA.
★ 238 · RustVLLM ИНФЕРЕНС: LOOPED TRANSFORMERS
vllm-rlt — движок вывода в стиле vLLM для looped transformers. Реализует планирование и выполнение на уровне циклов через композируемые стадии. 207 звёзд на GitHub.
★ 227 · PythonНовые проекты по теме — в Telegram
Telegram →