AIPython★ 5,041
gpustack/gpustack
GPU менеджер кластера
Управление GPU-кластерами с автоматической настройкой и оркестрацией движков инференса (vLLM, SGLang) для высокопроизводительного развёртывания моделей ИИ.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Оркестрация vLLM и SGLang
- Автоматическая настройка GPU-кластеров
- Высокая производительность инференса
#ascend#cuda#deepseek#distributed-inference#genai#high-performance-inference#inference#llama#llm#llm-inference#llm-serving#maas
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram