AIC++★ 206
alibaba/tair-kvcache
TAIR-KVCACHE: УСКОРЯЕМ LLM ИНФЕРЕНС
Высокопроизводительная система кеширования KV для ускорения инференса больших языковых моделей от Alibaba Cloud.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Глобальное управление кешем для снижения латентности
- Симуляция инференса HiSim для тестирования
- Написан на C++ для максимальной производительности
#hisim#kv-cache#kvcache#llm#simulator
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram