R_REDDYX.XYZ

Model Serving: open-source проекты на GitHub

17 репозиториев по теме Model Serving, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.

// СМЕЖНЫЕ ТЕМЫ

LLM 2064Inference 88LLM Serving 23Machine Learning 188MLOps 46Pytorch 91Deepseek 223GPT 154Llama 106Qwen 101Deep Learning 101GPU 45Vllm 62Cuda 46
vllm-project/vllm

Высокопроизводительный движок LLM

Высокопроизводительный и память‑эффективный движок для инференса и обслуживания больших языковых моделей.

★ 79,783 · Python
bentoml/BentoML

BENTOML ПРОСТОЙ ПУТЬ К AI API

Сервируйте модели и AI‑приложения за считанные минуты: API, очереди, мульти‑модельные пайплайны и LLM‑сервисы.

★ 8,663 · Python
vllm-project/vllm-omni

vllm-omni

Фреймворк для эффективного инференса мультимодальных моделей. Объединяет текст, изображения и аудио в единой системе вывода.

★ 4,863 · Python
beclab/Olares

OLARES — СВОЁ ОБЛАКО ДАННЫХ

Olares — открытая персональная облачная платформа на Go для полного контроля над вашими данными.

★ 4,558 · Go
ModelTC/LightLLM

LightLLM - БЫСТРЫЙ ИНФЕРЕНС LLM

Лёгкий и быстрый фреймворк для инференса и сервинга больших языковых моделей на Python. Простое масштабирование и высокая производительность.

★ 4,092 · Python
FedML-AI/FedML

Универсальная платформа FedML

Универсальная библиотека для распределённого обучения, сервиса моделей и федеративного обучения с кросc-облачным планировщиком.

★ 4,046 · Python
thu-pacman/chitu

CHITU: УСКОРЯЕМ LLM В PYTHON

High‑performance framework для быстрого инференса больших языковых моделей на Python. Обеспечивает гибкость, эффективность и простоту развертывания.

★ 3,123 · Python
vllm-project/vllm-ascend

VLLM-ASCEND: ПЛАГИН ДЛЯ ASCEND НА ГИТХАБЕ

Community-плагин для vLLM на железе Ascend от сообщества, написанный на C++. Набирает звёзды — уже 2156!

★ 2,156 · C++
sgl-project/sglang-omni

SGLANG-OMNI: ОМНИ-СЕРВИС ДЛЯ ИИ

SGLang-Omni обеспечивает высокопроизводительный запуск моделей TTS, ASR и речевых omni-моделей на Python.

★ 1,791 · Python
alibaba/rtp-llm

RTP-LLM УЛУЧШЕННЫЙ ИНФЕРЕНС LLM

Высокопроизводительный движок для инференса LLM от Alibaba, написанный на CUDA, обеспечивает быструю работу моделей в разнообразных приложениях.

★ 1,400 · Cuda
mosecorg/mosec

MOSEC - МАКСИМАЛЬНАЯ ПРОИЗВОДИТЕЛЬНОСТЬ ML

Быстрый фреймворк для сервиса ML моделей с динамическим батчингом и CPU/GPU пайплайнами.

★ 904 · Python
pegainfer-project/pegainfer

PEGAINFER: РАСТ + CUDA ИНФЕР

Движок LLM на чистом Rust с CUDA‑ускорением, совместимый с OpenAI API, запускает Qwen3 и Kimi‑K2 без PyTorch.

★ 742 · Rust
kossisoroyce/timber

Компилятор ML-моделей в C99

AOT-компилятор, превращающий модели XGBoost, LightGBM, scikit-learn, CatBoost и ONNX в нативный C99 код с ускорением инференса до 336x по сравнению с Python.

★ 680 · Python
ome-projects/ome

LLM-СЕРВИНГ В KUBERNETES

OME — оператор для запуска LLM в Kubernetes с умным планированием GPU и поддержкой SGLang, vLLM, TensorRT-LLM и Triton.

★ 527 · Go
openlake-project/openlake

OpenLake: хранилище для GPU

Сверхэффективное хранилище для рабочих нагрузок GPU. Подавайте данные с молниеносной скоростью.

★ 385 · Rust
Tejas-TA/predikit

PREDIKIT - ПОДКЛЮЧИ МОДЕЛИ К АГЕНТАМ

Predikit соединяет ML-модели с AI-агентами, упрощая интеграцию и ускоряя разработку интеллектуальных систем.

★ 382 · Python
vortico/flama

FLAMA: ОДНА СТРОКА ДЛЯ AI API

Фреймворк для быстрого развёртывания моделей AI как API с готовым чатом и поддержкой MCP.

★ 307 · Python

Новые проекты по теме — в Telegram

Telegram →
Model Serving — 17 open-source проектов на GitHub | REDDYX AI