Model Serving: open-source проекты на GitHub
17 репозиториев по теме Model Serving, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.
// СМЕЖНЫЕ ТЕМЫ
Высокопроизводительный движок LLM
Высокопроизводительный и память‑эффективный движок для инференса и обслуживания больших языковых моделей.
★ 79,783 · PythonBENTOML ПРОСТОЙ ПУТЬ К AI API
Сервируйте модели и AI‑приложения за считанные минуты: API, очереди, мульти‑модельные пайплайны и LLM‑сервисы.
★ 8,663 · Pythonvllm-omni
Фреймворк для эффективного инференса мультимодальных моделей. Объединяет текст, изображения и аудио в единой системе вывода.
★ 4,863 · PythonOLARES — СВОЁ ОБЛАКО ДАННЫХ
Olares — открытая персональная облачная платформа на Go для полного контроля над вашими данными.
★ 4,558 · GoLightLLM - БЫСТРЫЙ ИНФЕРЕНС LLM
Лёгкий и быстрый фреймворк для инференса и сервинга больших языковых моделей на Python. Простое масштабирование и высокая производительность.
★ 4,092 · PythonУниверсальная платформа FedML
Универсальная библиотека для распределённого обучения, сервиса моделей и федеративного обучения с кросc-облачным планировщиком.
★ 4,046 · PythonCHITU: УСКОРЯЕМ LLM В PYTHON
High‑performance framework для быстрого инференса больших языковых моделей на Python. Обеспечивает гибкость, эффективность и простоту развертывания.
★ 3,123 · PythonVLLM-ASCEND: ПЛАГИН ДЛЯ ASCEND НА ГИТХАБЕ
Community-плагин для vLLM на железе Ascend от сообщества, написанный на C++. Набирает звёзды — уже 2156!
★ 2,156 · C++SGLANG-OMNI: ОМНИ-СЕРВИС ДЛЯ ИИ
SGLang-Omni обеспечивает высокопроизводительный запуск моделей TTS, ASR и речевых omni-моделей на Python.
★ 1,791 · PythonRTP-LLM УЛУЧШЕННЫЙ ИНФЕРЕНС LLM
Высокопроизводительный движок для инференса LLM от Alibaba, написанный на CUDA, обеспечивает быструю работу моделей в разнообразных приложениях.
★ 1,400 · CudaMOSEC - МАКСИМАЛЬНАЯ ПРОИЗВОДИТЕЛЬНОСТЬ ML
Быстрый фреймворк для сервиса ML моделей с динамическим батчингом и CPU/GPU пайплайнами.
★ 904 · PythonPEGAINFER: РАСТ + CUDA ИНФЕР
Движок LLM на чистом Rust с CUDA‑ускорением, совместимый с OpenAI API, запускает Qwen3 и Kimi‑K2 без PyTorch.
★ 742 · RustКомпилятор ML-моделей в C99
AOT-компилятор, превращающий модели XGBoost, LightGBM, scikit-learn, CatBoost и ONNX в нативный C99 код с ускорением инференса до 336x по сравнению с Python.
★ 680 · PythonLLM-СЕРВИНГ В KUBERNETES
OME — оператор для запуска LLM в Kubernetes с умным планированием GPU и поддержкой SGLang, vLLM, TensorRT-LLM и Triton.
★ 527 · GoOpenLake: хранилище для GPU
Сверхэффективное хранилище для рабочих нагрузок GPU. Подавайте данные с молниеносной скоростью.
★ 385 · RustPREDIKIT - ПОДКЛЮЧИ МОДЕЛИ К АГЕНТАМ
Predikit соединяет ML-модели с AI-агентами, упрощая интеграцию и ускоряя разработку интеллектуальных систем.
★ 382 · PythonFLAMA: ОДНА СТРОКА ДЛЯ AI API
Фреймворк для быстрого развёртывания моделей AI как API с готовым чатом и поддержкой MCP.
★ 307 · PythonНовые проекты по теме — в Telegram
Telegram →