LLM Serving: open-source проекты на GitHub
23 репозиториев по теме LLM Serving, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.
// СМЕЖНЫЕ ТЕМЫ
Высокопроизводительный движок LLM
Высокопроизводительный и память‑эффективный движок для инференса и обслуживания больших языковых моделей.
★ 79,783 · PythonRay: AI вычислительный движок
Ray — это распределённый движок для AI‑вычислений, объединяющий ядро runtime и набор библиотек для ускорения ML‑рабочих нагрузок.
★ 42,516 · PythonOPENLLM: ЗАПУСК LLM КАК OPENAI API
OpenLLM позволяет запускать любые открытые LLM (Llama, Qwen, DeepSeek) как OpenAI-совместимые API одной командой. Включает чат-UI, современные бэкенды инференса и готовые
★ 12,607 · PythonBENTOML ПРОСТОЙ ПУТЬ К AI API
Сервируйте модели и AI‑приложения за считанные минуты: API, очереди, мульти‑модельные пайплайны и LLM‑сервисы.
★ 8,663 · PythonAI Infra: Книга по LLM
Открытая книга о量化 анализе и системном проектировании LLM inference и training, включающая полный текст, PDF и инструменты расчётов.
★ 7,748 · PythonGPU менеджер кластера
Управление GPU-кластерами с автоматической настройкой и оркестрацией движков инференса (vLLM, SGLang) для высокопроизводительного развёртывания моделей ИИ.
★ 5,041 · PythonFASTDEPLOY — БЫСТРЫЙ ДЕПЛОЙ LLM
Высокопроизводительный тулкит для инференса и деплоя LLM и VLM на базе PaddlePaddle. 3691 ⭐
★ 3,691 · PythonCHITU: УСКОРЯЕМ LLM В PYTHON
High‑performance framework для быстрого инференса больших языковых моделей на Python. Обеспечивает гибкость, эффективность и простоту развертывания.
★ 3,123 · PythonVLLM-ASCEND: ПЛАГИН ДЛЯ ASCEND НА ГИТХАБЕ
Community-плагин для vLLM на железе Ascend от сообщества, написанный на C++. Набирает звёзды — уже 2156!
★ 2,156 · C++KVCACHED: УСКОРИТЕ GPU КЭШ
Виртуализированный эластичный KV‑кеш для динамического совместного использования GPU, ускоряет inference LLM и снижает задержки.
★ 2,041 · PythonLLM inference для AWS Trainium
Открытый движок инференса LLM для AWS Trainium с NKI-мегаядрами, поддержкой 1M токенов контекста и OpenAI-совместимым API.
★ 1,585 · PythonRTP-LLM УЛУЧШЕННЫЙ ИНФЕРЕНС LLM
Высокопроизводительный движок для инференса LLM от Alibaba, написанный на CUDA, обеспечивает быструю работу моделей в разнообразных приложениях.
★ 1,400 · CudaБЫСТРЫЙ ЗАПУСК QWEN3.8 НА AMD
Проект предоставляет скрипты для мгновенного развёртывания Qwen3.8-Flash-Next на GPU AMD Strix Halo (gfx1151) через HIP. Все зависимости собираются автоматически, а infer
★ 1,349 · ShellPARALLAX: СОЗДАЙ ИИ КЛАСТЕР
Parallax позволяет быстро развернуть распределённый сервис inference на любой инфраструктуре.
★ 1,301 · PythonMOSEC - МАКСИМАЛЬНАЯ ПРОИЗВОДИТЕЛЬНОСТЬ ML
Быстрый фреймворк для сервиса ML моделей с динамическим батчингом и CPU/GPU пайплайнами.
★ 904 · PythonHELIX: ПРИВАТНЫЙ ФЛОТ ИИ-АГЕНТОВ НА GPU
Головной флот AI-агентов, каждый получает свой GPU-ускоренный рабочий стол. Claude, Codex, Gemini на приватном стеке.
★ 831 · GoБЕСПЛАТНЫЙ TPU ДЛЯ QWEN3.8-27B
Проект kaggle-tpu-lab запускает Qwen3.8-27B (bf16) на бесплатном TPU Kaggle, предоставляя OpenAI‑совместимый API. Поддерживает контекст 262 к токенов и скорость ~130 токе
★ 801 · PythonPEGAINFER: РАСТ + CUDA ИНФЕР
Движок LLM на чистом Rust с CUDA‑ускорением, совместимый с OpenAI API, запускает Qwen3 и Kimi‑K2 без PyTorch.
★ 742 · RustFLIDE: МГНОВЕННЫЙ ИНФЕРЕНС РЕШЕНИЙ
Flide — движок вывода для моделей принятия решений с поддержкой CUDA. Обеспечивает детерминированный инференс Gemma и других моделей за микросекунды. Идеален для AI-агент
★ 501 · PythonЭКСПЕРИМЕНТАЛЬНАЯ БИБЛИОТЕКА ИНФЕРЕНСА
resin — экспериментальная Python-библиотека для создания движков инференса LLM. Поддерживает CUDA, GPU-ускорение и работу с моделями вроде DeepSeek и GPT-OSS. Проект на р
★ 432 · PythonОПТИМИЗАЦИЯ KV-CACHE ДЛЯ LLM
Обзор методов оптимизации KV-Cache для эффективного обслуживания больших языковых моделей. Системный подход к ускорению инференса.
★ 426 · PythonFLAMA: ОДНА СТРОКА ДЛЯ AI API
Фреймворк для быстрого развёртывания моделей AI как API с готовым чатом и поддержкой MCP.
★ 307 · PythonSparkDuet: на-demand библиотека моделей
Проект предоставляет единый OpenAI‑совместимый эндпоинт для запуска моделей DeepSeek и Qwen, обслуживает их через два vLLM‑лейна (TP=2) на кластере NVIDIA DGX Spark и под
★ 0 · PythonНовые проекты по теме — в Telegram
Telegram →