R_REDDYX.XYZ
AIPython★ 4,343⑂ 401 форковApache-2.0

algorithmicsuperintelligence/optillm

OPTILLM — УСКОРЯЕМ ИНФЕРЕНС LLM

optillm — прокси‑ускоритель для LLM, снижает задержку и экономит ресурсы при инференсе.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Поддержка HuggingFace, vLLM, TensorRT‑LLM
  • Динамический батчинг и кеширование KV
  • HTTP API совместим с OpenAI‑клиентом
#agent#agentic-ai#agentic-framework#agentic-workflow#agents#api-gateway#chain-of-thought#genai#large-language-models#llm#llm-inference#llmapi
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

MemoryLanceDB Pro★ 4347Мини SWE‑агент★ 4350Скриншоты для ИИ-агентов★ 4335Claude Code: все уровни★ 4357LLAMA-SWAP - НАДЁЖНАЯ ЗАМЕНА МОДЕЛЕЙ★ 4328DEEPFLOW: eBPF ТРЕЙСИНГ И ПРОФИЛИНГ★ 4325

← ВЕСЬ КАТАЛОГ

algorithmicsuperintelligence/optillm — Optillm — ускоряем…