R_REDDYX.XYZ
AIPython★ 79,783

vllm-project/vllm

Высокопроизводительный движок LLM

Высокопроизводительный и память‑эффективный движок для инференса и обслуживания больших языковых моделей.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Высокая пропускная способность
  • Минимальное потребление памяти
  • Поддержка распределённого обслуживания
#amd#blackwell#cuda#deepseek#deepseek-v3#gpt#gpt-oss#inference#kimi#llama#llm#llm-serving
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

Сжатие ввода LLM★ 79744Курс по LLM с практикой★ 79245ОТКРЫТЫЙ АГЕНТНЫЙ ВИДЕО-ПРОДАКШН★ 80474RAGFlow — RAG-движок с агентами★ 80605AI‑наблюдатель полного стека★ 78779Дизайн-системы в markdown★ 78509

← ВЕСЬ КАТАЛОГ

vllm-project/vllm — Высокопроизводительный движок LLM