AIPython★ 8,292
LMCache/LMCache
LMCache: Ускорение LLM
Самый быстрый слой кэширования KV для больших языковых моделей, повышающий производительность и снижающий задержки.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Оптимизация KV-кэша
- Снижение задержек инференса
- Поддержка масштабируемых LLM
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram