R_REDDYX.XYZ
AIPython★ 8,292

LMCache/LMCache

LMCache: Ускорение LLM

Самый быстрый слой кэширования KV для больших языковых моделей, повышающий производительность и снижающий задержки.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Оптимизация KV-кэша
  • Снижение задержек инференса
  • Поддержка масштабируемых LLM
#amd#cuda#fast#inference#kv-cache#llm#pytorch#rocm#speed#vllm
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

BoundaryML/baml★ 8300YAO - ВСЕ АГЕНТЫ В ОДНОМ★ 8301MLX-AUDIO: РЕЧЬ НА APPLE SILICON★ 8267Kreuzberg: документы и ИИ★ 8321VIBE КОД С PI В IDE★ 8259Редактор MobileGestalt для iOS★ 8248

← ВЕСЬ КАТАЛОГ

LMCache/LMCache — LMCache: Ускорение LLM | REDDYX AI