AIC++★ 487⑂ 61 форковApache-2.0
localai-org/vllm.cpp
VLLM НА C++: МОЩНОЕ РЕШЕНИЕ
vllm.cpp — открытый C++ движок, полностью совместимый с vLLM: continuous batching, paged KV‑кеш, GGUF‑поддержка, RadixAttention и cache‑aware планировщик. 447★, создан сообществом для быстрого inferencing LLM.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Непрерывный batching повышает throughput при обработке запросов к LLM.
- Paged KV‑кеш (paged attention) снижает фрагментацию памяти и поддерживает длинные контексты.
- Поддержка GGUF‑формата и RadixAttention обеспечивает быструю загрузку моделей и ускоренное self‑attention.
- Кеш‑aware планировщик задач оптимизирует использование GPU, снижая латентность и повышая эффективность инференса.
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram