R_REDDYX.XYZ
AIPython★ 2,041⑂ 240 форковApache-2.0

ovg-project/kvcached

KVCACHED: УСКОРИТЕ GPU КЭШ

Виртуализированный эластичный KV‑кеш для динамического совместного использования GPU, ускоряет inference LLM и снижает задержки.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Динамическое распределение памяти GPU между задачами
  • Совместим с популярными фреймворками PyTorch и TensorFlow
  • Минимальная латентность при чтении/записи кеша
#elastic-kvcache#gpu-mutiplexing#gpu-sharing#inference-engine#kvcache#kvcache-optimization#kvcached#llm#llm-framework#llm-inference#llm-serving#ollama
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

LLAMA.VIM: LLM ПРЯМО В VIM★ 2042Защита кода с AI★ 2042AWESOME LANGGRAPH: ВСЕ ПОД ИЗМЕРЕНИЕМ★ 2043INDEX‑TRANSLATE МУЛЬТИЯЗЫЧНЫЙ AI★ 2044AI-агенты для команд★ 2045ЗАПУСКАЙ НЕЙРОСЕТИ ЛОКАЛЬНО★ 2045

← ВЕСЬ КАТАЛОГ

ovg-project/kvcached — Kvcached: ускорите GPU кэш