AIPython★ 1,105
ovg-project/kvcached
KVCACHED: УСКОРИТЕ GPU КЭШ
Виртуализированный эластичный KV‑кеш для динамического совместного использования GPU, ускоряет inference LLM и снижает задержки.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Динамическое распределение памяти GPU между задачами
- Совместим с популярными фреймворками PyTorch и TensorFlow
- Минимальная латентность при чтении/записи кеша
#elastic-kvcache#gpu-mutiplexing#gpu-sharing#inference-engine#kvcache#kvcache-optimization#kvcached#llm#llm-framework#llm-inference#llm-serving#ollama
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram