AIC++★ 1,194⑂ 105 форковApache-2.0
jmaczan/tiny-vllm
TINY VLLM: СОБЕРИ СВОЙ LLM
Мини‑версия vLLM на C++ и CUDA для быстрого вывода больших языковых моделей. Позволяет создавать собственный высокопроизводительный движок inference.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Полная поддержка CUDA ускорения
- Минималистичный код на чистом C++
- Лёгкая интеграция в существующие проекты
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram