R_REDDYX.XYZ

Sglang: open-source проекты на GitHub

20 репозиториев по теме Sglang, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.

// СМЕЖНЫЕ ТЕМЫ

LLM 2064Vllm 62LLM Inference 76Pytorch 91Inference 88Cuda 46Qwen 101Deepseek 223Openai 691Llama 106LLM Serving 23Inference Engine 18Ollama 237Model Serving 17
kvcache-ai/Mooncake

MOONCAKE - ПЛАТФОРМА ДЛЯ KIMI LLM С 5400+ ЗВЁЗД

Mooncake — серверная платформа для Kimi от Moonshot AI. Высокопроизводительный сервис LLM на C++ с открытым исходным кодом.

★ 5,429 · C++
gpustack/gpustack

GPU менеджер кластера

Управление GPU-кластерами с автоматической настройкой и оркестрацией движков инференса (vLLM, SGLang) для высокопроизводительного развёртывания моделей ИИ.

★ 5,041 · Python
datawhalechina/zero-to-sglang

ZERO-TO-SGLANG: ОБУЧЕНИЕ LLM ИНФЕРЕНСУ

Курс от Datawhale и SGLang教你 с нуля понять инференс LLM, собрать мини‑версию SGLang и изучить исходный код, чтобы оформить первый PR. Доступно на английском и китайском.

★ 2,136 · Python
ovg-project/kvcached

KVCACHED: УСКОРИТЕ GPU КЭШ

Виртуализированный эластичный KV‑кеш для динамического совместного использования GPU, ускоряет inference LLM и снижает задержки.

★ 2,041 · Python
sgl-project/sglang-omni

SGLANG-OMNI: ОМНИ-СЕРВИС ДЛЯ ИИ

SGLang-Omni обеспечивает высокопроизводительный запуск моделей TTS, ASR и речевых omni-моделей на Python.

★ 1,791 · Python
eagle-hq/EAGLE-4

EAGLE-4: Ускоренный вывод LLM

Официальная реализация EAGLE-4 — метода спекулятивного декодирования для ускорения генерации больших языковых моделей без потери качества.

★ 1,287 · Python
sgl-project/SpecForge

БЫСТРО ТРЕНИРУЙ СПЕКУЛЯТИВНЫЙ ДЕКОД

SpecForge упрощает обучение моделей спекулятивного декодинга и их экспорт в SGLang для высокопроизводительного обслуживания.

★ 1,285 · Python
patchy631/time-to-first-token

Маршрут оптимизации LLM inference

10‑недельный план по изучению сервиса и ускорения работы больших языковых моделей, включающий практики vLLM, SGLang, квантизации и спекулятивного декодирования.

★ 1,179 · HTML
OpenMOSS/MOVA

MOVA СКАЛИРУЕМОЕ ВИДЕО‑АУДИО

Проект MOVA генерирует синхронное видео и аудио, масштабируясь до больших наборов данных на Python.

★ 1,144 · Python
SemiAnalysisAI/InferenceX

INFERENCEX – БЕНЧМАРК ИНФЕРЕНСЕ

Open‑source бенчмарк непрерывного инференса для Qwen3.5, DeepSeek, GPTOSS и новых ускорителей.

★ 1,016 · Python
XHToken/Spark-X2.6

SPARK-X2.6: АГЕНТЫ НА УСТРОЙСТВЕ

Открытая серия моделей Spark-x2.5 с фокусом на агентские способности. Работают локально на устройстве без облака. 814 звёзд на GitHub.

★ 911
smg-project/smg

SMG - УНИВЕРСАЛЬНЫЙ ШЛЮЗ LLM

Engine-agnostic LLM шлюз на Rust с полной совместимостью OpenAI и Anthropic API, gRPC-пайплайном и кэшированием KV-кэша.

★ 723 · Rust
MemTensor/MemT-1.0

MEMT-1.0: ДОЛГОСРОЧНАЯ ПАМЯТЬ LLM

Официальный репозиторий MemT-1.0. Реализует долговременную память для LLM-агентов. Поддерживает длинный контекст и интеграцию с DeepSeek.

★ 537 · Python
ome-projects/ome

LLM-СЕРВИНГ В KUBERNETES

OME — оператор для запуска LLM в Kubernetes с умным планированием GPU и поддержкой SGLang, vLLM, TensorRT-LLM и Triton.

★ 527 · Go
matrixhub-ai/matrixhub

MATRIXHUB: AI-ХАБ С ОТКРЫТЫМ КОДОМ

Self-hosted платформа для AI-моделей с совместимостью Hugging Face и ускорением vLLM/SGLang. Звёзды: 246 ⭐

★ 367 · Go
lightseekorg/smg

SMG - УНИВЕРСАЛЬНЫЙ LLM ШЛЮЗ

SMG — engine‑agnostic LLM шлюз на Rust с полной совместимостью OpenAI и Anthropic API.

★ 322 · Rust
sgl-project/rbg

RGB - МАСШТАБИРУЮЩЕЕ LLM-УСЛУГИ

Пакет на Go, позволяющий быстро развернуть LLM‑услуги в Kubernetes с минимальной настройкой.

★ 315 · Go
AMD-AGI/Hyperloom

HYPERLOOM АВТООПТИМИЗАЦИЯ LLM НА AMD

Hyperloom — агентная система, которая автоматически оптимизирует рабочие нагрузки больших языковых моделей на GPU AMD. Она подбирает ядра и параметры для максимальной про

★ 271 · Python
lightseekorg/TorchSpec

TORCHSPEC СПЕКУЛЯТИВНОЕ ДЕКОДИРОВАНИЕ

Библиотека на PyTorch для обучения моделей speculative decoding, ускоряющая генерацию текста.

★ 268 · Python
Zyphra/ZONOS3-Mini

КОМПАКТНЫЙ TTS С КЛОНИРОВАНИЕМ ГОЛОСА

Многоязыковая модель текста в речь с zero-shot клонированием голоса. Запускается локально на GPU, CPU, Apple Silicon и в браузере через WebGPU.

★ 219 · Python

Новые проекты по теме — в Telegram

Telegram →
Sglang — 20 open-source проектов на GitHub | REDDYX AI