Sglang: open-source проекты на GitHub
20 репозиториев по теме Sglang, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.
// СМЕЖНЫЕ ТЕМЫ
MOONCAKE - ПЛАТФОРМА ДЛЯ KIMI LLM С 5400+ ЗВЁЗД
Mooncake — серверная платформа для Kimi от Moonshot AI. Высокопроизводительный сервис LLM на C++ с открытым исходным кодом.
★ 5,429 · C++GPU менеджер кластера
Управление GPU-кластерами с автоматической настройкой и оркестрацией движков инференса (vLLM, SGLang) для высокопроизводительного развёртывания моделей ИИ.
★ 5,041 · PythonZERO-TO-SGLANG: ОБУЧЕНИЕ LLM ИНФЕРЕНСУ
Курс от Datawhale и SGLang教你 с нуля понять инференс LLM, собрать мини‑версию SGLang и изучить исходный код, чтобы оформить первый PR. Доступно на английском и китайском.
★ 2,136 · PythonKVCACHED: УСКОРИТЕ GPU КЭШ
Виртуализированный эластичный KV‑кеш для динамического совместного использования GPU, ускоряет inference LLM и снижает задержки.
★ 2,041 · PythonSGLANG-OMNI: ОМНИ-СЕРВИС ДЛЯ ИИ
SGLang-Omni обеспечивает высокопроизводительный запуск моделей TTS, ASR и речевых omni-моделей на Python.
★ 1,791 · PythonEAGLE-4: Ускоренный вывод LLM
Официальная реализация EAGLE-4 — метода спекулятивного декодирования для ускорения генерации больших языковых моделей без потери качества.
★ 1,287 · PythonБЫСТРО ТРЕНИРУЙ СПЕКУЛЯТИВНЫЙ ДЕКОД
SpecForge упрощает обучение моделей спекулятивного декодинга и их экспорт в SGLang для высокопроизводительного обслуживания.
★ 1,285 · PythonМаршрут оптимизации LLM inference
10‑недельный план по изучению сервиса и ускорения работы больших языковых моделей, включающий практики vLLM, SGLang, квантизации и спекулятивного декодирования.
★ 1,179 · HTMLMOVA СКАЛИРУЕМОЕ ВИДЕО‑АУДИО
Проект MOVA генерирует синхронное видео и аудио, масштабируясь до больших наборов данных на Python.
★ 1,144 · PythonINFERENCEX – БЕНЧМАРК ИНФЕРЕНСЕ
Open‑source бенчмарк непрерывного инференса для Qwen3.5, DeepSeek, GPTOSS и новых ускорителей.
★ 1,016 · PythonSPARK-X2.6: АГЕНТЫ НА УСТРОЙСТВЕ
Открытая серия моделей Spark-x2.5 с фокусом на агентские способности. Работают локально на устройстве без облака. 814 звёзд на GitHub.
★ 911SMG - УНИВЕРСАЛЬНЫЙ ШЛЮЗ LLM
Engine-agnostic LLM шлюз на Rust с полной совместимостью OpenAI и Anthropic API, gRPC-пайплайном и кэшированием KV-кэша.
★ 723 · RustMEMT-1.0: ДОЛГОСРОЧНАЯ ПАМЯТЬ LLM
Официальный репозиторий MemT-1.0. Реализует долговременную память для LLM-агентов. Поддерживает длинный контекст и интеграцию с DeepSeek.
★ 537 · PythonLLM-СЕРВИНГ В KUBERNETES
OME — оператор для запуска LLM в Kubernetes с умным планированием GPU и поддержкой SGLang, vLLM, TensorRT-LLM и Triton.
★ 527 · GoMATRIXHUB: AI-ХАБ С ОТКРЫТЫМ КОДОМ
Self-hosted платформа для AI-моделей с совместимостью Hugging Face и ускорением vLLM/SGLang. Звёзды: 246 ⭐
★ 367 · GoSMG - УНИВЕРСАЛЬНЫЙ LLM ШЛЮЗ
SMG — engine‑agnostic LLM шлюз на Rust с полной совместимостью OpenAI и Anthropic API.
★ 322 · RustRGB - МАСШТАБИРУЮЩЕЕ LLM-УСЛУГИ
Пакет на Go, позволяющий быстро развернуть LLM‑услуги в Kubernetes с минимальной настройкой.
★ 315 · GoHYPERLOOM АВТООПТИМИЗАЦИЯ LLM НА AMD
Hyperloom — агентная система, которая автоматически оптимизирует рабочие нагрузки больших языковых моделей на GPU AMD. Она подбирает ядра и параметры для максимальной про
★ 271 · PythonTORCHSPEC СПЕКУЛЯТИВНОЕ ДЕКОДИРОВАНИЕ
Библиотека на PyTorch для обучения моделей speculative decoding, ускоряющая генерацию текста.
★ 268 · PythonКОМПАКТНЫЙ TTS С КЛОНИРОВАНИЕМ ГОЛОСА
Многоязыковая модель текста в речь с zero-shot клонированием голоса. Запускается локально на GPU, CPU, Apple Silicon и в браузере через WebGPU.
★ 219 · PythonНовые проекты по теме — в Telegram
Telegram →