R_REDDYX.XYZ

LLM Serving: open-source проекты на GitHub

23 репозиториев по теме LLM Serving, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.

// СМЕЖНЫЕ ТЕМЫ

LLM 2064LLM Inference 76Inference 88Qwen 101Deepseek 223Model Serving 17Vllm 62Pytorch 91Cuda 46Llama 106Machine Learning 188MLOps 46GPU 45Openai API 86
vllm-project/vllm

Высокопроизводительный движок LLM

Высокопроизводительный и память‑эффективный движок для инференса и обслуживания больших языковых моделей.

★ 79,783 · Python
ray-project/ray

Ray: AI вычислительный движок

Ray — это распределённый движок для AI‑вычислений, объединяющий ядро runtime и набор библиотек для ускорения ML‑рабочих нагрузок.

★ 42,516 · Python
bentoml/OpenLLM

OPENLLM: ЗАПУСК LLM КАК OPENAI API

OpenLLM позволяет запускать любые открытые LLM (Llama, Qwen, DeepSeek) как OpenAI-совместимые API одной командой. Включает чат-UI, современные бэкенды инференса и готовые

★ 12,607 · Python
bentoml/BentoML

BENTOML ПРОСТОЙ ПУТЬ К AI API

Сервируйте модели и AI‑приложения за считанные минуты: API, очереди, мульти‑модельные пайплайны и LLM‑сервисы.

★ 8,663 · Python
bojieli/ai-infra-book

AI Infra: Книга по LLM

Открытая книга о量化 анализе и системном проектировании LLM inference и training, включающая полный текст, PDF и инструменты расчётов.

★ 7,748 · Python
gpustack/gpustack

GPU менеджер кластера

Управление GPU-кластерами с автоматической настройкой и оркестрацией движков инференса (vLLM, SGLang) для высокопроизводительного развёртывания моделей ИИ.

★ 5,041 · Python
PaddlePaddle/FastDeploy

FASTDEPLOY — БЫСТРЫЙ ДЕПЛОЙ LLM

Высокопроизводительный тулкит для инференса и деплоя LLM и VLM на базе PaddlePaddle. 3691 ⭐

★ 3,691 · Python
thu-pacman/chitu

CHITU: УСКОРЯЕМ LLM В PYTHON

High‑performance framework для быстрого инференса больших языковых моделей на Python. Обеспечивает гибкость, эффективность и простоту развертывания.

★ 3,123 · Python
vllm-project/vllm-ascend

VLLM-ASCEND: ПЛАГИН ДЛЯ ASCEND НА ГИТХАБЕ

Community-плагин для vLLM на железе Ascend от сообщества, написанный на C++. Набирает звёзды — уже 2156!

★ 2,156 · C++
ovg-project/kvcached

KVCACHED: УСКОРИТЕ GPU КЭШ

Виртуализированный эластичный KV‑кеш для динамического совместного использования GPU, ускоряет inference LLM и снижает задержки.

★ 2,041 · Python
RunanywhereAI/trnrt

LLM inference для AWS Trainium

Открытый движок инференса LLM для AWS Trainium с NKI-мегаядрами, поддержкой 1M токенов контекста и OpenAI-совместимым API.

★ 1,585 · Python
alibaba/rtp-llm

RTP-LLM УЛУЧШЕННЫЙ ИНФЕРЕНС LLM

Высокопроизводительный движок для инференса LLM от Alibaba, написанный на CUDA, обеспечивает быструю работу моделей в разнообразных приложениях.

★ 1,400 · Cuda
peonist-ai/halogen-flash-server

БЫСТРЫЙ ЗАПУСК QWEN3.8 НА AMD

Проект предоставляет скрипты для мгновенного развёртывания Qwen3.8-Flash-Next на GPU AMD Strix Halo (gfx1151) через HIP. Все зависимости собираются автоматически, а infer

★ 1,349 · Shell
GradientHQ/parallax

PARALLAX: СОЗДАЙ ИИ КЛАСТЕР

Parallax позволяет быстро развернуть распределённый сервис inference на любой инфраструктуре.

★ 1,301 · Python
mosecorg/mosec

MOSEC - МАКСИМАЛЬНАЯ ПРОИЗВОДИТЕЛЬНОСТЬ ML

Быстрый фреймворк для сервиса ML моделей с динамическим батчингом и CPU/GPU пайплайнами.

★ 904 · Python
helixml/helix

HELIX: ПРИВАТНЫЙ ФЛОТ ИИ-АГЕНТОВ НА GPU

Головной флот AI-агентов, каждый получает свой GPU-ускоренный рабочий стол. Claude, Codex, Gemini на приватном стеке.

★ 831 · Go
ARahim3/kaggle-tpu-lab

БЕСПЛАТНЫЙ TPU ДЛЯ QWEN3.8-27B

Проект kaggle-tpu-lab запускает Qwen3.8-27B (bf16) на бесплатном TPU Kaggle, предоставляя OpenAI‑совместимый API. Поддерживает контекст 262 к токенов и скорость ~130 токе

★ 801 · Python
pegainfer-project/pegainfer

PEGAINFER: РАСТ + CUDA ИНФЕР

Движок LLM на чистом Rust с CUDA‑ускорением, совместимый с OpenAI API, запускает Qwen3 и Kimi‑K2 без PyTorch.

★ 742 · Rust
OmniJev/Flide

FLIDE: МГНОВЕННЫЙ ИНФЕРЕНС РЕШЕНИЙ

Flide — движок вывода для моделей принятия решений с поддержкой CUDA. Обеспечивает детерминированный инференс Gemma и других моделей за микросекунды. Идеален для AI-агент

★ 501 · Python
ekzhang/resin

ЭКСПЕРИМЕНТАЛЬНАЯ БИБЛИОТЕКА ИНФЕРЕНСА

resin — экспериментальная Python-библиотека для создания движков инференса LLM. Поддерживает CUDA, GPU-ускорение и работу с моделями вроде DeepSeek и GPT-OSS. Проект на р

★ 432 · Python
jjiantong/Awesome-KV-Cache-Optimization

ОПТИМИЗАЦИЯ KV-CACHE ДЛЯ LLM

Обзор методов оптимизации KV-Cache для эффективного обслуживания больших языковых моделей. Системный подход к ускорению инференса.

★ 426 · Python
vortico/flama

FLAMA: ОДНА СТРОКА ДЛЯ AI API

Фреймворк для быстрого развёртывания моделей AI как API с готовым чатом и поддержкой MCP.

★ 307 · Python
zorost/sparkduet

SparkDuet: на-demand библиотека моделей

Проект предоставляет единый OpenAI‑совместимый эндпоинт для запуска моделей DeepSeek и Qwen, обслуживает их через два vLLM‑лейна (TP=2) на кластере NVIDIA DGX Spark и под

★ 0 · Python

Новые проекты по теме — в Telegram

Telegram →
LLM Serving — 23 open-source проектов на GitHub | REDDYX AI