R_REDDYX.XYZ

Vllm: open-source проекты на GitHub

62 репозиториев по теме Vllm, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.

// СМЕЖНЫЕ ТЕМЫ

LLM 2064Inference 88LLM Inference 76Sglang 20Qwen 101Ollama 237Openai 691Mlx 48Cuda 46LLM Serving 23Anthropic 449Pytorch 91Openai API 86Deepseek 223
hadihonarvar/flock

Самостоятельный шлюз LLM

Один бинарник Go превращает ваши Mac и Linux‑машины в приватный кластер инференса с мульти‑машинным роутингом, шардингом через llama.cpp‑RPC и поддержкой API OpenAI и Ant

★ 38 · Go
zorost/sparkduet

SparkDuet: на-demand библиотека моделей

Проект предоставляет единый OpenAI‑совместимый эндпоинт для запуска моделей DeepSeek и Qwen, обслуживает их через два vLLM‑лейна (TP=2) на кластере NVIDIA DGX Spark и под

★ 0 · Python

Новые проекты по теме — в Telegram

Telegram →
Vllm — страница 2 | REDDYX AI