AIPython★ 293
ModelEngine-Group/unified-cache-management
УСКОРЬТЕ LLM С КЕШЕМ
Проект unified-cache-management позволяет сохранять и переиспользовать KV Cache для ускорения работы больших языковых моделей.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Персистентное хранение KV Cache
- Повторное использование кеша
- Написан на Python
#ascend#cuda#deepseek#dram#gpu#hbm#kvcache#llm#nfs#npu#ssd#torch
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram