AIGo★ 254
sgl-project/rbg
RGB - МАСШТАБИРУЮЩЕЕ LLM-УСЛУГИ
Пакет на Go, позволяющий быстро развернуть LLM‑услуги в Kubernetes с минимальной настройкой.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Поддержка развертывания через Helm
- Авто‑масштабирование на основе запросов
- Интеграция с Prometheus и Grafana
#k8s#llm#pd-disagg#sglang
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram