AIPython★ 8,292
LMCache/LMCache
LMCache: Ускорение LLM
Самый быстрый слой кэширования KV для больших языковых моделей, повышающий производительность и снижающий задержки.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Оптимизация KV-кэша
- Снижение задержек инференса
- Поддержка масштабируемых LLM
#amd#cuda#fast#inference#kv-cache#llm#pytorch#rocm#speed#vllm
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram