AIPython★ 1,394⑂ 181 форковMIT
Zefan-Cai/KVCache-Factory
KVCache-Factory: СЖАТИЕ КЭША ДЛЯ LLM
Унифицированные методы сжатия KV-кэша для авторегрессивных моделей. Экономия памяти и ускорение инференса в одном флаконе.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Унифицированный подход к сжатию KV-кэша
- Поддержка авторегрессивных моделей
- Python-реализация с открытым кодом
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram