R_REDDYX.XYZ
AIGo★ 527⑂ 107 форковApache-2.0

ome-projects/ome

LLM-СЕРВИНГ В KUBERNETES

OME — оператор для запуска LLM в Kubernetes с умным планированием GPU и поддержкой SGLang, vLLM, TensorRT-LLM и Triton.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Автоматическое планирование GPU
  • Поддержка SGLang, vLLM, TensorRT-LLM
  • Управление жизненным циклом моделей
#deepseek#k8s#kimi-k2#llama#llm#llm-inference#model-as-a-service#model-serving#multi-node-kubernetes#oracle-cloud#pd-disaggregation#qwen
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

VLA МОДЕЛИ ДЛЯ АВТОМОБИЛЕЙ★ 527MCP ДЛЯ ИНЖЕНЕРИИ ДЕТЕКЦИИ★ 527FIRE RED ASR2S SOTA РАСПОЗНАВАНИЕ★ 528Практическое руководство ModelScope★ 526Гипотезный рабочий стол★ 528КАТАЛОГ AI-АГЕНТОВ И ТУЛСОВ★ 528

← ВЕСЬ КАТАЛОГ

ome-projects/ome — LLM-сервинг в Kubernetes | REDDYX AI