AIPython★ 159
huawei-csl/KVarN
KVarN: квантование KV‑кеша
KVarN — нативный бекенд квантования KV‑кеша для vLLM, увеличивающий контекст в 3‑5 раз, повышающий пропускную способность выше FP16 и сохраняющий точность FP16 без калибровки, активируемый одной флагом.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Нативное квантование KV‑кеша для vLLM без внешних зависимостей
- Увеличение доступного контекста в 3‑5 раз по сравнению с базой
- Пропускная способность выше FP16 при сохранении точности FP16
- Активация одним флагом, калибровка не требуется
#agentic-ai#kv-cache#llm#llm-inference#long-context#quantization#vllm
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram