AIPython★ 461
runpod-workers/worker-vllm
WORKER-VLLM: МОЩНОЕ РАЗВЕРТЫВАНИЕ LLM
Шаблон воркера Runpod для развертывания LLM через vLLM — быстрый старт и масштабируемая работа.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Поддержка vLLM для высокой пропускной способности
- Готовый шаблон для Runpod-workers
- Минимальная настройка и быстрое развертывание
#language-model#llm#runpod#vllm
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram