R_REDDYX.XYZ
AIRust★ 221⑂ 31 форковApache-2.0

novitalabs/pegaflow

ПЕГАФЛОУ KV КЭШ ДЛЯ LLM

Pegaflow — высокопроизводительное хранилище KV‑кэша для инференса LLM. Поддерживает выгрузку на GPU, кэширование на SSD и обмен между узлами через RDMA. Совместимо с vLLM и SGLang.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Выгружает KV‑кэш в GPU память, уменьшая использование VRAM модели.
  • Кеширует KV‑кэш на NVMe SSD, обеспечивая быстрый доступ при превышении GPU памяти.
  • Обеспечивает передачу KV‑кэша между узлами кластера через RDMA с низкой латентностью.
  • Интегрируется с vLLM и SGLang как plug‑in хранилище KV‑кэша без изменений кода.
#inference#kv-cache#llm#vllm
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

Настройка выравнивания LLM★ 221APEX ИИ-АГЕНТ ДЛЯ AZURE★ 221ЛОВИТ ОШИБКИ В ВАШЕМ КОДЕ★ 221НЕЙРОИНВЕРС AI ИДЕ★ 221CLAUDE-MERMAID - ЖИВОЙ ПРЕДВАРИТЕЛЬ МЕРМАЙД★ 221CAMELID: ЛОКАЛЬНЫЙ ИИ НА RUST★ 221

← ВЕСЬ КАТАЛОГ

novitalabs/pegaflow — Пегафлоу KV кэш для LLM | REDDYX AI