R_REDDYX.XYZ
AIPython★ 1,394⑂ 181 форковMIT

Zefan-Cai/KVCache-Factory

KVCache-Factory: СЖАТИЕ КЭША ДЛЯ LLM

Унифицированные методы сжатия KV-кэша для авторегрессивных моделей. Экономия памяти и ускорение инференса в одном флаконе.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Унифицированный подход к сжатию KV-кэша
  • Поддержка авторегрессивных моделей
  • Python-реализация с открытым кодом
#kv-cache#kv-cache-compression#llm
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

Evolving Skills for AI★ 1395XTREME1 — ПЛАТФОРМА МУЛЬТИМОДАЛЬНОЙ РАЗМЕТКИ★ 1393WLLAMA: LLM В БРАУЗЕРЕ БЕЗ СЕРВЕРА★ 1392PRUNA - УСКОРЯЕМ МОДЕЛИ★ 1391SUGGESTARR: АВТОПОДБОР КОНТЕНТА★ 1391Набор для AI‑видео★ 1397

← ВЕСЬ КАТАЛОГ

Zefan-Cai/KVCache-Factory — KVCache-Factory: СЖАТИЕ КЭША ДЛЯ…