R_REDDYX.XYZ
AIPython★ 142⑂ 1 форковApache-2.0

Jacki1223/inference-autopilot

Оптимизация развертывания SGLang

Инструмент на основе доказательств, который настраивает параметры SGLang в реальном времени, снижая latency и повышая пропускную способность.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Автоматическая настройка параметров SGLang на основе метрик производительности.
  • Динамическое изменение батча для снижения задержки при нагрузке.
  • Интеграция с CI/CD pipelines для автоматического развертывания оптимизированных моделей.
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

Galahad: исследование слепоты★ 142AI-GoldenAPP каталог★ 143LoRa базовая станция★ 144MEMEX: ПАМЯТЬ ДЛЯ ИИ-АГЕНТОВ★ 144EVOQUANT: ИИ-АГЕНТ ДЛЯ КВАНТОВЫХ ИССЛЕДОВАНИЙ★ 144Узлы Viggle-Animate H3★ 140

← ВЕСЬ КАТАЛОГ

Jacki1223/inference-autopilot — Оптимизация развертывания…