AIPython★ 69
zimingttkx/QuantumFlow
QuantumFlow: Распределённый инференс LLM
Распределённый фреймворк для планирования инференса LLM с поддержкой нескольких бэкендов и адаптивными стратегиями.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Поддержка vLLM, TGI, SGLang
- Адаптивные стратегии планирования
- Управление кластером
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram