R_REDDYX.XYZ

Vllm: open-source проекты на GitHub

62 репозиториев по теме Vllm, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.

// СМЕЖНЫЕ ТЕМЫ

LLM 2064Inference 88LLM Inference 76Sglang 20Qwen 101Ollama 237Openai 691Mlx 48Cuda 46LLM Serving 23Anthropic 449Pytorch 91Openai API 86Deepseek 223
modelscope/FunASR

FunASR — распознавание речи

Промышленный инструмент распознавания речи: 170× realtime, 50+ языков, диаризация, определение эмоций, стриминг и OpenAI-совместимый API.

★ 16,235 · Python
Orchestra-Research/AI-Research-SKILLs

AI-RESEARCH-SKILLS: 9.7K ЗВЁЗД

Библиотека навыков для AI-агентов: превращает Claude Code, Codex и Gemini в полноценных AI-исследователей. От Orchestra Research.

★ 14,571 · TeX
xorbitsai/inference

XINFERENCE - ЛЮБАЯ LLM В ОДНУ СТРОКУ

Замените GPT на любую открытую модель, изменив одну строку кода. Запускайте LLM, мультимодальные и speech-модели через единый production-ready API.

★ 9,318 · Python
LMCache/LMCache

LMCache: Ускорение LLM

Самый быстрый слой кэширования KV для больших языковых моделей, повышающий производительность и снижающий задержки.

★ 8,292 · Python
skyzh/tiny-llm

tiny-llm - СБИРАЕМ МИНИ LLM НА M1

Курс по развертыванию LLM на Apple Silicon: собрать собственный tiny vLLM + Qwen за считанные минуты.

★ 5,744 · Python
OpenBMB/UltraRAG

UltraRAG: фреймворк RAG-пайплайнов

Низкокодовый MCP-фреймворк для создания сложных и инновационных RAG-пайплайнов.

★ 5,549 · Python
kvcache-ai/Mooncake

MOONCAKE - ПЛАТФОРМА ДЛЯ KIMI LLM С 5400+ ЗВЁЗД

Mooncake — серверная платформа для Kimi от Moonshot AI. Высокопроизводительный сервис LLM на C++ с открытым исходным кодом.

★ 5,429 · C++
katanaml/sparrow

SPARROW: МОЩНАЯ ЭКСТРАКЦИЯ ДАННЫХ

Sparrow извлекает структурированные данные, запускает инструкции и строит agent‑воркфлоу на базе ML, LLM и Vision LLM.

★ 5,160 · Python
gpustack/gpustack

GPU менеджер кластера

Управление GPU-кластерами с автоматической настройкой и оркестрацией движков инференса (vLLM, SGLang) для высокопроизводительного развёртывания моделей ИИ.

★ 5,041 · Python
mostlygeek/llama-swap

LLAMA-SWAP - НАДЁЖНАЯ ЗАМЕНА МОДЕЛЕЙ

Утилита для бесшовной замены моделей на локальных серверах (llama.cpp, vLLM и др.)

★ 4,328 · Go
vllm-project/semantic-router

Системный интеллектуальный маршрутизатор

Интеллектуальный маршрутизатор для управления смешанными моделями в облаке, дата-центрах и на периферии.

★ 4,182 · Go
lemony-ai/cascadeflow

CASCADEFLOW УСКОРЯЕТ ИИ-АГЕНТОВ

Cascading runtime для ИИ-агентов, который оптимизирует стоимость, latency, качество и политику внутри цикла агента.

★ 3,926 · Python
PaddlePaddle/FastDeploy

FASTDEPLOY — БЫСТРЫЙ ДЕПЛОЙ LLM

Высокопроизводительный тулкит для инференса и деплоя LLM и VLM на базе PaddlePaddle. 3691 ⭐

★ 3,691 · Python
containers/ramalama

RAMALAMA ЛЕГКИЙ ЗАПУСК AI

RamaLama — открытый инструмент на Python, который позволяет быстро запускать любые AI‑модели в контейнерах и использовать их для инференса в продакшене.

★ 2,872 · Python
syv-ai/HyperQwen

HyperQwen: Qwen на потребительских GPU

Проект оптимизирует запуск больших моделей Qwen на доступных GPU с помощью vLLM патчей и реквантизации. Достигает 127 ток/с на 24 ГБ.

★ 2,713 · Python
vllm-project/vllm-ascend

VLLM-ASCEND: ПЛАГИН ДЛЯ ASCEND НА ГИТХАБЕ

Community-плагин для vLLM на железе Ascend от сообщества, написанный на C++. Набирает звёзды — уже 2156!

★ 2,156 · C++
ovg-project/kvcached

KVCACHED: УСКОРИТЕ GPU КЭШ

Виртуализированный эластичный KV‑кеш для динамического совместного использования GPU, ускоряет inference LLM и снижает задержки.

★ 2,041 · Python
vllm-project/vllm-metal

VLLM-METAL: УСКОРЯЕМ LLM НА APPLE SILICON

vllm-metal — это сообщество‑поддерживаемый плагин аппаратного ускорения для vLLM на процессорах Apple Silicon. Использует фреймворк Metal и MLX для эффективного выполнени

★ 1,997 · Python
StartLuxLabs/StartLux-Decision

STARTLUX‑DECISION: ИИ РЕШЕНИЙ

Открытые модели принятия решений от 0,8 B до 27 B дают откалиброванную вероятность каждого варианта за один проход и краткий размышления только при неуверенности. Поддерж

★ 1,745 · Python
nokia-applied-research/AnyJev

ANYJEV ПРЕВРАЩАЕТ LLM В JEV-МОДЕЛЬ

AnyJev преобразует любую LLM в модель принятия решений Jev‑стиля, выдавая типизированные решения и реальные вероятности без необходимости дообучения. Проект активно разви

★ 1,609 · Python
kubeai-project/kubeai

KUBEAI – ИНТЕГРАЛЬНЫЙ ОПЕРАТОР ИНФЕРЕНСА

AI Inference Operator для Kubernetes: самый простой способ развернуть ML модели в продакшене. Поддерживает VLM, LLM, embeddings и STT.

★ 1,291 · Go
eagle-hq/EAGLE-4

EAGLE-4: Ускоренный вывод LLM

Официальная реализация EAGLE-4 — метода спекулятивного декодирования для ускорения генерации больших языковых моделей без потери качества.

★ 1,287 · Python
waybarrios/vllm-mlx

vllm-mlx - Сервер LLM для Apple Silicon с поддержкой мультимодальных моделей

OpenAI и Anthropic совместимый сервер для Apple Silicon. Запускайте LLM и модели с поддержкой зрения с непрерывной пакетной обработкой и вызовом инструментов MCP. 400+ то

★ 1,260 · Python
jmaczan/tiny-vllm

TINY VLLM: СОБЕРИ СВОЙ LLM

Мини‑версия vLLM на C++ и CUDA для быстрого вывода больших языковых моделей. Позволяет создавать собственный высокопроизводительный движок inference.

★ 1,194 · C++
patchy631/time-to-first-token

Маршрут оптимизации LLM inference

10‑недельный план по изучению сервиса и ускорения работы больших языковых моделей, включающий практики vLLM, SGLang, квантизации и спекулятивного декодирования.

★ 1,179 · HTML
SemiAnalysisAI/InferenceX

INFERENCEX – БЕНЧМАРК ИНФЕРЕНСЕ

Open‑source бенчмарк непрерывного инференса для Qwen3.5, DeepSeek, GPTOSS и новых ускорителей.

★ 1,016 · Python
Valen-Team/Valen

МУЛЬТИМОДАЛЬНАЯ МОДЕЛЬ ПРИНЯТИЯ РЕШЕНИЙ

Valen-Decision — мультимодальная модель System One для принятия решений. Принимает текст, изображения и видео, возвращает вероятности по заданным кандидатам и координаты

★ 918 · Python
XHToken/Spark-X2.6

SPARK-X2.6: АГЕНТЫ НА УСТРОЙСТВЕ

Открытая серия моделей Spark-x2.5 с фокусом на агентские способности. Работают локально на устройстве без облака. 814 звёзд на GitHub.

★ 911
th1nhhdk/local_ai_ocr

ЛОКАЛЬНЫЙ OCR НА ИИ

Офлайн OCR-инструмент на DeepSeek-OCR для распознавания текста из изображений и PDF прямо на вашем компьютере.

★ 890 · Python
whitecircle/halo

HALO: ФРЕЙМВОРК ОБУЧЕНИЯ LLM

Halo — открытый фреймворк от White Circle для обучения больших языковых и мультимодальных моделей. Поддерживает агентное обучение, async-RL, распределённое обучение и fin

★ 862 · Python
pgalko/BambooAI

BAMBOOAI AI АНАЛИТИК ДАННЫХ

BambooAI — AI‑аналитик данных, который проводит прозрачный воспроизводимый анализ шаг за шагом на Python, проверяя доказательства своих выводов. Поддерживает множество мо

★ 846 · Python
jakobdylanc/llmcord

LLMCORD: ДИСКОРД КАК LLM ИНТЕРФЕЙС

Подключите любую модель через OpenAI‑совместимый API к Discord и общайтесь с ИИ прямо в чате.

★ 843 · Python
ARahim3/kaggle-tpu-lab

БЕСПЛАТНЫЙ TPU ДЛЯ QWEN3.8-27B

Проект kaggle-tpu-lab запускает Qwen3.8-27B (bf16) на бесплатном TPU Kaggle, предоставляя OpenAI‑совместимый API. Поддерживает контекст 262 к токенов и скорость ~130 токе

★ 801 · Python
pegainfer-project/pegainfer

PEGAINFER: РАСТ + CUDA ИНФЕР

Движок LLM на чистом Rust с CUDA‑ускорением, совместимый с OpenAI API, запускает Qwen3 и Kimi‑K2 без PyTorch.

★ 742 · Rust
smg-project/smg

SMG - УНИВЕРСАЛЬНЫЙ ШЛЮЗ LLM

Engine-agnostic LLM шлюз на Rust с полной совместимостью OpenAI и Anthropic API, gRPC-пайплайном и кэшированием KV-кэша.

★ 723 · Rust
nodetool-ai/nodetool

NODETOOL: ТВОЙ AI ВОРКСПЕЙС

Открытая рабочая среда для творческого ИИ: создавай, редактируй и делись моделями прямо в браузере.

★ 637 · TypeScript
llmmanorg/llmman

RUN ANY AGENT ON ANY MODEL

llmman позволяет запускать любые AI‑агенты на любой модели, хранящейся в виде OCI‑образов. Поддерживает Claude Code, Codex, llama.cpp, MLX и другие популярные LLM‑фреймво

★ 590 · Rust
Yzw202011/OmniSpace

Локальная AI-рабочая станция для творчества

Полноценная полностековая платформа с 5 модулями (чат, комиксы, манхва, письмо, знания) для запуска LLM локально на vLLM, llama.cpp и Transformers с умным управлением VRA

★ 535 · Python
ome-projects/ome

LLM-СЕРВИНГ В KUBERNETES

OME — оператор для запуска LLM в Kubernetes с умным планированием GPU и поддержкой SGLang, vLLM, TensorRT-LLM и Triton.

★ 527 · Go
AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-DFlash

QWEN3.6-27B УЛЬТИМЕЙТ ВЕРСИЯ

Полностью без цензуры, улучшенная версия Qwen3.6-27B с NVFP4 и DFlash спекулятивным декодированием.

★ 495 · Python
localai-org/vllm.cpp

VLLM НА C++: МОЩНОЕ РЕШЕНИЕ

vllm.cpp — открытый C++ движок, полностью совместимый с vLLM: continuous batching, paged KV‑кеш, GGUF‑поддержка, RadixAttention и cache‑aware планировщик. 447★, создан со

★ 487 · C++
runpod-workers/worker-vllm

WORKER-VLLM: МОЩНОЕ РАЗВЕРТЫВАНИЕ LLM

Шаблон воркера Runpod для развертывания LLM через vLLM — быстрый старт и масштабируемая работа.

★ 474 · Python
FujitsuResearch/OneCompression

ONECOMPRESSION: СЖАТИЕ LLM БЕЗ ПОТЕРИ

Python‑пакет OneCompression упрощает сжатие больших языковых моделей, сохраняя точность и ускоряя работу.

★ 445 · Python
matrixhub-ai/matrixhub

MATRIXHUB: AI-ХАБ С ОТКРЫТЫМ КОДОМ

Self-hosted платформа для AI-моделей с совместимостью Hugging Face и ускорением vLLM/SGLang. Звёзды: 246 ⭐

★ 367 · Go
jasonacox/TinyLLM

ЗАПУСТИ LLM ЛОКАЛЬНО НА ЛЮБОМ ЖЕЛЕЗЕ

TinyLLM позволяет развернуть локальный LLM и чат-бота на обычном железе. Проект на JavaScript использует llama-cpp-python для инференса без GPU. 352 звезды на GitHub.

★ 357 · JavaScript
ModelEngine-Group/unified-cache-management

УСКОРЬТЕ LLM С КЕШЕМ

Проект unified-cache-management позволяет сохранять и переиспользовать KV Cache для ускорения работы больших языковых моделей.

★ 356 · Python
guoqingbao/xinfer

XINFER - БЫСТРЫЙ ВЫВОД LLM

Xinfer — сверхбыстрый инференс LLM на чистом Rust, без PyTorch и Python. Позволяет запускать модели с минимальной задержкой.

★ 354 · Rust
verl-project/verl-omni

VERL-OMNI: ОБУЧЕНИЕ С ПОДКРЕПЛЕНИЕМ

Фреймворк для RL-обучения диффузионных и мультимодальных моделей. 347 звёзд на GitHub.

★ 347 · Python
pensarai/apex

APEX АВТОНОМНЫЙ АГЕНТ ПЕНТЕСТА

Apex — автономные AI‑агенты для атакующего пентеста прямо в терминале. Быстро, глубоко, без ручного труда.

★ 326 · TypeScript
lightseekorg/smg

SMG - УНИВЕРСАЛЬНЫЙ LLM ШЛЮЗ

SMG — engine‑agnostic LLM шлюз на Rust с полной совместимостью OpenAI и Anthropic API.

★ 322 · Rust
skye-harris/hass_local_openai_llm

ЛОКАЛЬНЫЙ LLM ДЛЯ HOME ASSISTANT

Интеграция LLM в Home Assistant для локальных OpenAI-совместимых серверов (llamacpp, vllm и др.)

★ 313 · Python
vortico/flama

FLAMA: ОДНА СТРОКА ДЛЯ AI API

Фреймворк для быстрого развёртывания моделей AI как API с готовым чатом и поддержкой MCP.

★ 307 · Python
T-Crypt/berth

GPU ПО ОЧЕРЕДИ БЕЗ КРАШЕЙ

Berth арендует видеокарту движкам чата, изображений и голоса по очереди. Два процесса никогда не загрузятся вместе и не уронят друг друга. Один бинарник на Go, зависимост

★ 297 · Go
autonomous-ai/autonomous-grid

СОБЕРИ СВОЙ AI ИНТРАНЕТ

Автономная сетка объединяет ваши компьютеры в единую инфраструктуру для запуска AI‑моделей: обучение, дообучение и инференс. Поддерживает распределённые вычисления, fine‑

★ 278 · Python
AMD-AGI/Hyperloom

HYPERLOOM АВТООПТИМИЗАЦИЯ LLM НА AMD

Hyperloom — агентная система, которая автоматически оптимизирует рабочие нагрузки больших языковых моделей на GPU AMD. Она подбирает ядра и параметры для максимальной про

★ 271 · Python
lightseekorg/TorchSpec

TORCHSPEC СПЕКУЛЯТИВНОЕ ДЕКОДИРОВАНИЕ

Библиотека на PyTorch для обучения моделей speculative decoding, ускоряющая генерацию текста.

★ 268 · Python
defilantech/LLMKube

LLMKUBE: LLM В KUBERNETES

LLMKube - оператор Kubernetes для LLM‑инференса на смешанном GPU‑флоте: NVIDIA CUDA, AMD Vulkan, Apple Silicon Metal. Поддерживает llama.cpp, vLLM, TGI, mlx-server, мульт

★ 266 · Go
novitalabs/pegaflow

ПЕГАФЛОУ KV КЭШ ДЛЯ LLM

Pegaflow — высокопроизводительное хранилище KV‑кэша для инференса LLM. Поддерживает выгрузку на GPU, кэширование на SSD и обмен между узлами через RDMA. Совместимо с vLLM

★ 221 · Rust
jaylfc/taOS

TAOS САМООБУЧАЮЩИЙСЯ AI ОС

Self-hosted автокластеризующий AI-агентский ОС для вашего железа: Raspberry Pi, Orange, Mac Mini и т.д.

★ 213 · Python
huawei-csl/KVarN

KVarN: квантование KV‑кеша

KVarN — нативный бекенд квантования KV‑кеша для vLLM, увеличивающий контекст в 3‑5 раз, повышающий пропускную способность выше FP16 и сохраняющий точность FP16 без калибр

★ 159 · Python

Новые проекты по теме — в Telegram

Telegram →
Vllm — 62 open-source проектов на GitHub | REDDYX AI