AIPython★ 142⑂ 1 форковApache-2.0
Jacki1223/inference-autopilot
Оптимизация развертывания SGLang
Инструмент на основе доказательств, который настраивает параметры SGLang в реальном времени, снижая latency и повышая пропускную способность.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Автоматическая настройка параметров SGLang на основе метрик производительности.
- Динамическое изменение батча для снижения задержки при нагрузке.
- Интеграция с CI/CD pipelines для автоматического развертывания оптимизированных моделей.
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram