AIShell★ 3,247
llm-d/llm-d
llm-d/llm-d
Achieve state of the art inference performance with modern accelerators on Kubernetes
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Оптимизирован для GPU и TPU в K8s
- Автоматическое масштабирование inference workloads
- Минималистичный shell‑интерфейс без зависимостей
#ai#cncf#distributed-inference#gpu#inference#intelligent-routing#kubernetes#llm#model-server
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram