R_REDDYX.XYZ
AIPython★ 474⑂ 396 форковMIT

runpod-workers/worker-vllm

WORKER-VLLM: МОЩНОЕ РАЗВЕРТЫВАНИЕ LLM

Шаблон воркера Runpod для развертывания LLM через vLLM — быстрый старт и масштабируемая работа.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Поддержка vLLM для высокой пропускной способности
  • Готовый шаблон для Runpod-workers
  • Минимальная настройка и быстрое развертывание
#language-model#llm#runpod#vllm
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

AI-COLLAB-PLAYBOOK - ПРАКТИЧЕСКИЙ ГАЙД ПО РАБОТЕ С ИИ★ 474ОСВАИВАЕМ LANGGRAPH 1.0★ 474Акустическое обнаружение дронов★ 474ГЛАВНОЕ ИИ-ПОМОЩНИК ДЛЯ КОДА★ 474Фреймворк акторов на неизменяемом логе событий★ 474ROAM-CODE - ИИ АГЕНТ ДЛЯ КОДА★ 473

← ВЕСЬ КАТАЛОГ

runpod-workers/worker-vllm — Worker-Vllm: мощное…