AIGo★ 472
ome-projects/ome
LLM-СЕРВИНГ В KUBERNETES
OME — оператор для запуска LLM в Kubernetes с умным планированием GPU и поддержкой SGLang, vLLM, TensorRT-LLM и Triton.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Автоматическое планирование GPU
- Поддержка SGLang, vLLM, TensorRT-LLM
- Управление жизненным циклом моделей
#deepseek#k8s#kimi-k2#llama#llm#llm-inference#model-as-a-service#model-serving#multi-node-kubernetes#oracle-cloud#pd-disaggregation#qwen
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram