AIC++★ 283⑂ 69 форковApache-2.0
alibaba/tair-kvcache
TAIR-KVCACHE: УСКОРЯЕМ LLM ИНФЕРЕНС
Высокопроизводительная система кеширования KV для ускорения инференса больших языковых моделей от Alibaba Cloud.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Глобальное управление кешем для снижения латентности
- Симуляция инференса HiSim для тестирования
- Написан на C++ для максимальной производительности
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram