Vllm: open-source проекты на GitHub
62 репозиториев по теме Vllm, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.
// СМЕЖНЫЕ ТЕМЫ
FunASR — распознавание речи
Промышленный инструмент распознавания речи: 170× realtime, 50+ языков, диаризация, определение эмоций, стриминг и OpenAI-совместимый API.
★ 16,235 · PythonAI-RESEARCH-SKILLS: 9.7K ЗВЁЗД
Библиотека навыков для AI-агентов: превращает Claude Code, Codex и Gemini в полноценных AI-исследователей. От Orchestra Research.
★ 14,571 · TeXXINFERENCE - ЛЮБАЯ LLM В ОДНУ СТРОКУ
Замените GPT на любую открытую модель, изменив одну строку кода. Запускайте LLM, мультимодальные и speech-модели через единый production-ready API.
★ 9,318 · PythonLMCache: Ускорение LLM
Самый быстрый слой кэширования KV для больших языковых моделей, повышающий производительность и снижающий задержки.
★ 8,292 · Pythontiny-llm - СБИРАЕМ МИНИ LLM НА M1
Курс по развертыванию LLM на Apple Silicon: собрать собственный tiny vLLM + Qwen за считанные минуты.
★ 5,744 · PythonUltraRAG: фреймворк RAG-пайплайнов
Низкокодовый MCP-фреймворк для создания сложных и инновационных RAG-пайплайнов.
★ 5,549 · PythonMOONCAKE - ПЛАТФОРМА ДЛЯ KIMI LLM С 5400+ ЗВЁЗД
Mooncake — серверная платформа для Kimi от Moonshot AI. Высокопроизводительный сервис LLM на C++ с открытым исходным кодом.
★ 5,429 · C++SPARROW: МОЩНАЯ ЭКСТРАКЦИЯ ДАННЫХ
Sparrow извлекает структурированные данные, запускает инструкции и строит agent‑воркфлоу на базе ML, LLM и Vision LLM.
★ 5,160 · PythonGPU менеджер кластера
Управление GPU-кластерами с автоматической настройкой и оркестрацией движков инференса (vLLM, SGLang) для высокопроизводительного развёртывания моделей ИИ.
★ 5,041 · PythonLLAMA-SWAP - НАДЁЖНАЯ ЗАМЕНА МОДЕЛЕЙ
Утилита для бесшовной замены моделей на локальных серверах (llama.cpp, vLLM и др.)
★ 4,328 · GoСистемный интеллектуальный маршрутизатор
Интеллектуальный маршрутизатор для управления смешанными моделями в облаке, дата-центрах и на периферии.
★ 4,182 · GoCASCADEFLOW УСКОРЯЕТ ИИ-АГЕНТОВ
Cascading runtime для ИИ-агентов, который оптимизирует стоимость, latency, качество и политику внутри цикла агента.
★ 3,926 · PythonFASTDEPLOY — БЫСТРЫЙ ДЕПЛОЙ LLM
Высокопроизводительный тулкит для инференса и деплоя LLM и VLM на базе PaddlePaddle. 3691 ⭐
★ 3,691 · PythonRAMALAMA ЛЕГКИЙ ЗАПУСК AI
RamaLama — открытый инструмент на Python, который позволяет быстро запускать любые AI‑модели в контейнерах и использовать их для инференса в продакшене.
★ 2,872 · PythonHyperQwen: Qwen на потребительских GPU
Проект оптимизирует запуск больших моделей Qwen на доступных GPU с помощью vLLM патчей и реквантизации. Достигает 127 ток/с на 24 ГБ.
★ 2,713 · PythonVLLM-ASCEND: ПЛАГИН ДЛЯ ASCEND НА ГИТХАБЕ
Community-плагин для vLLM на железе Ascend от сообщества, написанный на C++. Набирает звёзды — уже 2156!
★ 2,156 · C++KVCACHED: УСКОРИТЕ GPU КЭШ
Виртуализированный эластичный KV‑кеш для динамического совместного использования GPU, ускоряет inference LLM и снижает задержки.
★ 2,041 · PythonVLLM-METAL: УСКОРЯЕМ LLM НА APPLE SILICON
vllm-metal — это сообщество‑поддерживаемый плагин аппаратного ускорения для vLLM на процессорах Apple Silicon. Использует фреймворк Metal и MLX для эффективного выполнени
★ 1,997 · PythonSTARTLUX‑DECISION: ИИ РЕШЕНИЙ
Открытые модели принятия решений от 0,8 B до 27 B дают откалиброванную вероятность каждого варианта за один проход и краткий размышления только при неуверенности. Поддерж
★ 1,745 · PythonANYJEV ПРЕВРАЩАЕТ LLM В JEV-МОДЕЛЬ
AnyJev преобразует любую LLM в модель принятия решений Jev‑стиля, выдавая типизированные решения и реальные вероятности без необходимости дообучения. Проект активно разви
★ 1,609 · PythonKUBEAI – ИНТЕГРАЛЬНЫЙ ОПЕРАТОР ИНФЕРЕНСА
AI Inference Operator для Kubernetes: самый простой способ развернуть ML модели в продакшене. Поддерживает VLM, LLM, embeddings и STT.
★ 1,291 · GoEAGLE-4: Ускоренный вывод LLM
Официальная реализация EAGLE-4 — метода спекулятивного декодирования для ускорения генерации больших языковых моделей без потери качества.
★ 1,287 · Pythonvllm-mlx - Сервер LLM для Apple Silicon с поддержкой мультимодальных моделей
OpenAI и Anthropic совместимый сервер для Apple Silicon. Запускайте LLM и модели с поддержкой зрения с непрерывной пакетной обработкой и вызовом инструментов MCP. 400+ то
★ 1,260 · PythonTINY VLLM: СОБЕРИ СВОЙ LLM
Мини‑версия vLLM на C++ и CUDA для быстрого вывода больших языковых моделей. Позволяет создавать собственный высокопроизводительный движок inference.
★ 1,194 · C++Маршрут оптимизации LLM inference
10‑недельный план по изучению сервиса и ускорения работы больших языковых моделей, включающий практики vLLM, SGLang, квантизации и спекулятивного декодирования.
★ 1,179 · HTMLINFERENCEX – БЕНЧМАРК ИНФЕРЕНСЕ
Open‑source бенчмарк непрерывного инференса для Qwen3.5, DeepSeek, GPTOSS и новых ускорителей.
★ 1,016 · PythonМУЛЬТИМОДАЛЬНАЯ МОДЕЛЬ ПРИНЯТИЯ РЕШЕНИЙ
Valen-Decision — мультимодальная модель System One для принятия решений. Принимает текст, изображения и видео, возвращает вероятности по заданным кандидатам и координаты
★ 918 · PythonSPARK-X2.6: АГЕНТЫ НА УСТРОЙСТВЕ
Открытая серия моделей Spark-x2.5 с фокусом на агентские способности. Работают локально на устройстве без облака. 814 звёзд на GitHub.
★ 911ЛОКАЛЬНЫЙ OCR НА ИИ
Офлайн OCR-инструмент на DeepSeek-OCR для распознавания текста из изображений и PDF прямо на вашем компьютере.
★ 890 · PythonHALO: ФРЕЙМВОРК ОБУЧЕНИЯ LLM
Halo — открытый фреймворк от White Circle для обучения больших языковых и мультимодальных моделей. Поддерживает агентное обучение, async-RL, распределённое обучение и fin
★ 862 · PythonBAMBOOAI AI АНАЛИТИК ДАННЫХ
BambooAI — AI‑аналитик данных, который проводит прозрачный воспроизводимый анализ шаг за шагом на Python, проверяя доказательства своих выводов. Поддерживает множество мо
★ 846 · PythonLLMCORD: ДИСКОРД КАК LLM ИНТЕРФЕЙС
Подключите любую модель через OpenAI‑совместимый API к Discord и общайтесь с ИИ прямо в чате.
★ 843 · PythonБЕСПЛАТНЫЙ TPU ДЛЯ QWEN3.8-27B
Проект kaggle-tpu-lab запускает Qwen3.8-27B (bf16) на бесплатном TPU Kaggle, предоставляя OpenAI‑совместимый API. Поддерживает контекст 262 к токенов и скорость ~130 токе
★ 801 · PythonPEGAINFER: РАСТ + CUDA ИНФЕР
Движок LLM на чистом Rust с CUDA‑ускорением, совместимый с OpenAI API, запускает Qwen3 и Kimi‑K2 без PyTorch.
★ 742 · RustSMG - УНИВЕРСАЛЬНЫЙ ШЛЮЗ LLM
Engine-agnostic LLM шлюз на Rust с полной совместимостью OpenAI и Anthropic API, gRPC-пайплайном и кэшированием KV-кэша.
★ 723 · RustNODETOOL: ТВОЙ AI ВОРКСПЕЙС
Открытая рабочая среда для творческого ИИ: создавай, редактируй и делись моделями прямо в браузере.
★ 637 · TypeScriptRUN ANY AGENT ON ANY MODEL
llmman позволяет запускать любые AI‑агенты на любой модели, хранящейся в виде OCI‑образов. Поддерживает Claude Code, Codex, llama.cpp, MLX и другие популярные LLM‑фреймво
★ 590 · RustЛокальная AI-рабочая станция для творчества
Полноценная полностековая платформа с 5 модулями (чат, комиксы, манхва, письмо, знания) для запуска LLM локально на vLLM, llama.cpp и Transformers с умным управлением VRA
★ 535 · PythonLLM-СЕРВИНГ В KUBERNETES
OME — оператор для запуска LLM в Kubernetes с умным планированием GPU и поддержкой SGLang, vLLM, TensorRT-LLM и Triton.
★ 527 · GoQWEN3.6-27B УЛЬТИМЕЙТ ВЕРСИЯ
Полностью без цензуры, улучшенная версия Qwen3.6-27B с NVFP4 и DFlash спекулятивным декодированием.
★ 495 · PythonVLLM НА C++: МОЩНОЕ РЕШЕНИЕ
vllm.cpp — открытый C++ движок, полностью совместимый с vLLM: continuous batching, paged KV‑кеш, GGUF‑поддержка, RadixAttention и cache‑aware планировщик. 447★, создан со
★ 487 · C++WORKER-VLLM: МОЩНОЕ РАЗВЕРТЫВАНИЕ LLM
Шаблон воркера Runpod для развертывания LLM через vLLM — быстрый старт и масштабируемая работа.
★ 474 · PythonONECOMPRESSION: СЖАТИЕ LLM БЕЗ ПОТЕРИ
Python‑пакет OneCompression упрощает сжатие больших языковых моделей, сохраняя точность и ускоряя работу.
★ 445 · PythonMATRIXHUB: AI-ХАБ С ОТКРЫТЫМ КОДОМ
Self-hosted платформа для AI-моделей с совместимостью Hugging Face и ускорением vLLM/SGLang. Звёзды: 246 ⭐
★ 367 · GoЗАПУСТИ LLM ЛОКАЛЬНО НА ЛЮБОМ ЖЕЛЕЗЕ
TinyLLM позволяет развернуть локальный LLM и чат-бота на обычном железе. Проект на JavaScript использует llama-cpp-python для инференса без GPU. 352 звезды на GitHub.
★ 357 · JavaScriptУСКОРЬТЕ LLM С КЕШЕМ
Проект unified-cache-management позволяет сохранять и переиспользовать KV Cache для ускорения работы больших языковых моделей.
★ 356 · PythonXINFER - БЫСТРЫЙ ВЫВОД LLM
Xinfer — сверхбыстрый инференс LLM на чистом Rust, без PyTorch и Python. Позволяет запускать модели с минимальной задержкой.
★ 354 · RustVERL-OMNI: ОБУЧЕНИЕ С ПОДКРЕПЛЕНИЕМ
Фреймворк для RL-обучения диффузионных и мультимодальных моделей. 347 звёзд на GitHub.
★ 347 · PythonAPEX АВТОНОМНЫЙ АГЕНТ ПЕНТЕСТА
Apex — автономные AI‑агенты для атакующего пентеста прямо в терминале. Быстро, глубоко, без ручного труда.
★ 326 · TypeScriptSMG - УНИВЕРСАЛЬНЫЙ LLM ШЛЮЗ
SMG — engine‑agnostic LLM шлюз на Rust с полной совместимостью OpenAI и Anthropic API.
★ 322 · RustЛОКАЛЬНЫЙ LLM ДЛЯ HOME ASSISTANT
Интеграция LLM в Home Assistant для локальных OpenAI-совместимых серверов (llamacpp, vllm и др.)
★ 313 · PythonFLAMA: ОДНА СТРОКА ДЛЯ AI API
Фреймворк для быстрого развёртывания моделей AI как API с готовым чатом и поддержкой MCP.
★ 307 · PythonGPU ПО ОЧЕРЕДИ БЕЗ КРАШЕЙ
Berth арендует видеокарту движкам чата, изображений и голоса по очереди. Два процесса никогда не загрузятся вместе и не уронят друг друга. Один бинарник на Go, зависимост
★ 297 · GoСОБЕРИ СВОЙ AI ИНТРАНЕТ
Автономная сетка объединяет ваши компьютеры в единую инфраструктуру для запуска AI‑моделей: обучение, дообучение и инференс. Поддерживает распределённые вычисления, fine‑
★ 278 · PythonHYPERLOOM АВТООПТИМИЗАЦИЯ LLM НА AMD
Hyperloom — агентная система, которая автоматически оптимизирует рабочие нагрузки больших языковых моделей на GPU AMD. Она подбирает ядра и параметры для максимальной про
★ 271 · PythonTORCHSPEC СПЕКУЛЯТИВНОЕ ДЕКОДИРОВАНИЕ
Библиотека на PyTorch для обучения моделей speculative decoding, ускоряющая генерацию текста.
★ 268 · PythonLLMKUBE: LLM В KUBERNETES
LLMKube - оператор Kubernetes для LLM‑инференса на смешанном GPU‑флоте: NVIDIA CUDA, AMD Vulkan, Apple Silicon Metal. Поддерживает llama.cpp, vLLM, TGI, mlx-server, мульт
★ 266 · GoПЕГАФЛОУ KV КЭШ ДЛЯ LLM
Pegaflow — высокопроизводительное хранилище KV‑кэша для инференса LLM. Поддерживает выгрузку на GPU, кэширование на SSD и обмен между узлами через RDMA. Совместимо с vLLM
★ 221 · RustTAOS САМООБУЧАЮЩИЙСЯ AI ОС
Self-hosted автокластеризующий AI-агентский ОС для вашего железа: Raspberry Pi, Orange, Mac Mini и т.д.
★ 213 · PythonKVarN: квантование KV‑кеша
KVarN — нативный бекенд квантования KV‑кеша для vLLM, увеличивающий контекст в 3‑5 раз, повышающий пропускную способность выше FP16 и сохраняющий точность FP16 без калибр
★ 159 · PythonНовые проекты по теме — в Telegram
Telegram →