AIPython★ 224
AstraNetLab/CacheRoute
CACHEROUTE: УМНОЕ ПЛАНИРОВАНИЕ LLM
CacheRoute переиспользует KV‑кеш LLM для гибкого распределения задач, повышая скорость и эффективность работы систем.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Гибкое повторное использование KV‑кеша
- Ускорение выполнения задач LLM
- Снижение нагрузки на вычислительные ресурсы
#knowledge-injection#kvcache#kvcache-reuse#llm#llm-inference#llm-task-scheduling#lmcache#network#routing#vllm
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram