R_REDDYX.XYZ
AIPython★ 1,254⑂ 200 форковApache-2.0

NVIDIA/kvpress

KVPRESS: СЖАТИЕ КЭША LLM

Библиотека для лёгкого сжатия KV‑кеша LLM, ускоряющая генерацию и снижающая потребление GPU памяти.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Автоматическое сжатие KV‑кеша без потери точности
  • Совместим с HuggingFace, vLLM и другими движками
  • Минималистичный API: одна функция compress_kvcache
#inference#kv-cache#kv-cache-compression#large-language-models#llm#long-context#python#pytorch#transformers
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

MAGIC: AI-АССИСТЕНТ ДЛЯ РАЗРАБОТКИ★ 1255MULTIMODAL AI ДЛЯ КОНТЕНТА★ 1253LLMGATEWAY: ЕДИНЫЙ API ДЛЯ ВСЕХ LLM★ 1252ANGELSLIM: СЖИМАЕМ МОДЕЛИ БЕЗ ПОТЕРЬ★ 1257БЫСТРЫЙ АЛЬТЕРНАТИВ FIRECRAWL НА RUST★ 1257BRIAN2 СИМУЛЯТОР СПИКОВЫХ СЕТЕЙ★ 1258

← ВЕСЬ КАТАЛОГ

NVIDIA/kvpress — Kvpress: сжатие кэша LLM | REDDYX AI