R_REDDYX.XYZ
AIPython★ 356⑂ 132 форковMIT

ModelEngine-Group/unified-cache-management

УСКОРЬТЕ LLM С КЕШЕМ

Проект unified-cache-management позволяет сохранять и переиспользовать KV Cache для ускорения работы больших языковых моделей.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Персистентное хранение KV Cache
  • Повторное использование кеша
  • Написан на Python
#ascend#cuda#deepseek#dram#gpu#hbm#kvcache#llm#nfs#npu#ssd#torch
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

CODEX-SWITCHER - УПРАВЛЯЙ КОДЕКС АККАУНТАМИ★ 356NOTEBOOK-INTELLIGENCE - МНОЖЕСТВЕННЫЙ АГЕНТ★ 356LLMVault: ТРЕНИРОВОЧНАЯ ПЛАТФОРМА OWASP LLM★ 356HONEY: МЕНЬШЕ ТОКЕНОВ, БОЛЬШЕ РЕЗУЛЬТАТОВ★ 356NAVIGATOR: КОНТЕКСТ ДЛЯ CLAUDE CODE★ 356CLAWMETRY - ВИДЬ МЫСЛИ АГЕНТА★ 357

← ВЕСЬ КАТАЛОГ

ModelEngine-Group/unified-cache-management — Ускорьте LLM с…