AIPython★ 1,121
NVIDIA/kvpress
KVPRESS: СЖАТИЕ КЭША LLM
Библиотека для лёгкого сжатия KV‑кеша LLM, ускоряющая генерацию и снижающая потребление GPU памяти.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Автоматическое сжатие KV‑кеша без потери точности
- Совместим с HuggingFace, vLLM и другими движками
- Минималистичный API: одна функция compress_kvcache
#inference#kv-cache#kv-cache-compression#large-language-models#llm#long-context#python#pytorch#transformers
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram