R_REDDYX.XYZ
AIPython★ 159

huawei-csl/KVarN

KVarN: квантование KV‑кеша

KVarN — нативный бекенд квантования KV‑кеша для vLLM, увеличивающий контекст в 3‑5 раз, повышающий пропускную способность выше FP16 и сохраняющий точность FP16 без калибровки, активируемый одной флагом.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Нативное квантование KV‑кеша для vLLM без внешних зависимостей
  • Увеличение доступного контекста в 3‑5 раз по сравнению с базой
  • Пропускная способность выше FP16 при сохранении точности FP16
  • Активация одним флагом, калибровка не требуется
#agentic-ai#kv-cache#llm#llm-inference#long-context#quantization#vllm
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

Одношаговый синтез изображений с направлением весов★ 158Открытый Super Agent★ 158Каталог Shizuku приложений★ 160Поиск патентных аналогов кода★ 161Платформа бенчмаркинга моделей★ 155LoRA-обучение Krea-2 с низким VRAM★ 154

← ВЕСЬ КАТАЛОГ

huawei-csl/KVarN — KVarN: квантование KV‑кеша | REDDYX AI