R_REDDYX.XYZ
AIC++★ 487⑂ 61 форковApache-2.0

localai-org/vllm.cpp

VLLM НА C++: МОЩНОЕ РЕШЕНИЕ

vllm.cpp — открытый C++ движок, полностью совместимый с vLLM: continuous batching, paged KV‑кеш, GGUF‑поддержка, RadixAttention и cache‑aware планировщик. 447★, создан сообществом для быстрого inferencing LLM.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Непрерывный batching повышает throughput при обработке запросов к LLM.
  • Paged KV‑кеш (paged attention) снижает фрагментацию памяти и поддерживает длинные контексты.
  • Поддержка GGUF‑формата и RadixAttention обеспечивает быструю загрузку моделей и ускоренное self‑attention.
  • Кеш‑aware планировщик задач оптимизирует использование GPU, снижая латентность и повышая эффективность инференса.
#continous-batching#cpp20#llm#mlx#paged-attention#radixattention#vllm
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

Песочница для разработки★ 487ALPHASIFT - AI-ДВИЖОК ДЛЯ ВЫБОРИ АКЦИЙ★ 487АВТОМАТИЗАЦИЯ НАУЧНЫХ СТАТЕЙ НА LATEX★ 487Production OCR на Rust★ 487R3BL OPEN CORE TUI НА RUST★ 487GRAVA: Рассуждение → Действие★ 487

← ВЕСЬ КАТАЛОГ

localai-org/vllm.cpp — Vllm на C++: мощное решение