AIRust★ 206
novitalabs/pegaflow
ПЕГАФЛОУ KV КЭШ ДЛЯ LLM
Pegaflow — высокопроизводительное хранилище KV‑кэша для инференса LLM. Поддерживает выгрузку на GPU, кэширование на SSD и обмен между узлами через RDMA. Совместимо с vLLM и SGLang.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Выгружает KV‑кэш в GPU память, уменьшая использование VRAM модели.
- Кеширует KV‑кэш на NVMe SSD, обеспечивая быстрый доступ при превышении GPU памяти.
- Обеспечивает передачу KV‑кэша между узлами кластера через RDMA с низкой латентностью.
- Интегрируется с vLLM и SGLang как plug‑in хранилище KV‑кэша без изменений кода.
#inference#kv-cache#llm#vllm
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram