AIPython★ 1,346
Zefan-Cai/KVCache-Factory
KVCache-Factory: СЖАТИЕ КЭША ДЛЯ LLM
Унифицированные методы сжатия KV-кэша для авторегрессивных моделей. Экономия памяти и ускорение инференса в одном флаконе.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Унифицированный подход к сжатию KV-кэша
- Поддержка авторегрессивных моделей
- Python-реализация с открытым кодом
#kv-cache#kv-cache-compression#llm
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram