R_REDDYX.XYZ
AIC++★ 283⑂ 69 форковApache-2.0

alibaba/tair-kvcache

TAIR-KVCACHE: УСКОРЯЕМ LLM ИНФЕРЕНС

Высокопроизводительная система кеширования KV для ускорения инференса больших языковых моделей от Alibaba Cloud.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Глобальное управление кешем для снижения латентности
  • Симуляция инференса HiSim для тестирования
  • Написан на C++ для максимальной производительности
#hisim#kv-cache#kvcache#llm#simulator
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

PAXM: ПАМЯТЬ ДЛЯ ИИ-АГЕНТОВ★ 283MONET: УПРАВЛЕНИЕ CLAUDE★ 283FINNTS: ПРОГНОЗ ФИНАНСОВ В R★ 283PILOT HARNESS: ИИ-ПОМОЩНИК РАЗРАБОТЧИКА★ 283MNEMORY: ПАМЯТЬ ДЛЯ ИИ-АГЕНТОВ★ 283SAFESTCLAW АЛЬТЕРНАТИВА OPENCLAW★ 283

← ВЕСЬ КАТАЛОГ

alibaba/tair-kvcache — Tair-Kvcache: ускоряем LLM инференс