AIPython★ 79,783
vllm-project/vllm
Высокопроизводительный движок LLM
Высокопроизводительный и память‑эффективный движок для инференса и обслуживания больших языковых моделей.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Высокая пропускная способность
- Минимальное потребление памяти
- Поддержка распределённого обслуживания
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram