AIC++★ 218
mudler/vllm.cpp
VLLM.CPP: УСКОРИТЕ LLM В C++
vllm.cpp — C++‑движок, 1:1 копия vLLM с continuous batching, paged KV и дополнительными фичами от сообщества.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Continuous batching для низкой латентности
- Paged KV‑кеш экономит память
- Расширенная поддержка кастомных операторов
#cpp20#llm#mlx#vllm
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram