AIC++★ 1,073
jmaczan/tiny-vllm
TINY VLLM: СОБЕРИ СВОЙ LLM
Мини‑версия vLLM на C++ и CUDA для быстрого вывода больших языковых моделей. Позволяет создавать собственный высокопроизводительный движок inference.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Полная поддержка CUDA ускорения
- Минималистичный код на чистом C++
- Лёгкая интеграция в существующие проекты
#ai#attention#batching#course#cpp#cuda#hpc#inference#llm#llm-inference#pagedattention#tiny-vllm
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram