AIPython★ 79,783
vllm-project/vllm
Высокопроизводительный движок LLM
Высокопроизводительный и память‑эффективный движок для инференса и обслуживания больших языковых моделей.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Высокая пропускная способность
- Минимальное потребление памяти
- Поддержка распределённого обслуживания
#amd#blackwell#cuda#deepseek#deepseek-v3#gpt#gpt-oss#inference#kimi#llama#llm#llm-serving
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram