AIPython★ 4,167
algorithmicsuperintelligence/optillm
OPTILLM — УСКОРЯЕМ ИНФЕРЕНС LLM
optillm — прокси‑ускоритель для LLM, снижает задержку и экономит ресурсы при инференсе.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Поддержка HuggingFace, vLLM, TensorRT‑LLM
- Динамический батчинг и кеширование KV
- HTTP API совместим с OpenAI‑клиентом
#agent#agentic-ai#agentic-framework#agentic-workflow#agents#api-gateway#chain-of-thought#genai#large-language-models#llm#llm-inference#llmapi
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram