R_REDDYX.XYZ

LLM Inference: open-source проекты на GitHub

76 репозиториев по теме LLM Inference, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.

// СМЕЖНЫЕ ТЕМЫ

LLM 2064Vllm 62Cuda 46Qwen 101Local LLM 102LLM Serving 23Machine Learning 188Generative AI 187Speculative Decoding 21Large Language Models 151Llms 136Apple Silicon 53Self Hosted 348Llama 106
ray-project/ray

Ray: AI вычислительный движок

Ray — это распределённый движок для AI‑вычислений, объединяющий ядро runtime и набор библиотек для ускорения ML‑рабочих нагрузок.

★ 42,516 · Python
gitleaks/gitleaks

GITLEAKS - НАЙДИТЕ СЕКРЕТЫ В КОДЕ

Мощнейший сканер утечек секретов в Git-репозиториях. Защитите свои ключи и токены!

★ 27,428 · Go
Lightning-AI/litgpt

litgpt: 20+ МОЩНЫХ LLM ДЛЯ РАЗРАБОТЧИКОВ

Высокопроизводительные языковые модели с готовыми рецептами для предобучения, тонкой настройки и масштабирования. 13К+ звёзд!

★ 13,387 · Python
bentoml/OpenLLM

OPENLLM: ЗАПУСК LLM КАК OPENAI API

OpenLLM позволяет запускать любые открытые LLM (Llama, Qwen, DeepSeek) как OpenAI-совместимые API одной командой. Включает чат-UI, современные бэкенды инференса и готовые

★ 12,607 · Python
FareedKhan-dev/kimi-k3-in-c

KIMI K3: 2.78 ТРЛН ПАРАМЕТРОВ

Запуск модели Kimi K3 с 2,78 трлн параметров на одном CPU, используя всего 8,24 ГБ RAM без BLAS, фреймворков и GPU.

★ 12,109 · C
openvinotoolkit/openvino

ОПТИМИЗАЦИЯ И РАЗВЕРТЫВАНИЕ AI-МОДЕЛЕЙ

Инструментарий для оптимизации и развертывания моделей глубокого обучения. Поддерживает конвертацию из PyTorch, TensorFlow, ONNX и запуск на CPU, GPU и NPU Intel.

★ 11,656 · C++
bentoml/BentoML

BENTOML ПРОСТОЙ ПУТЬ К AI API

Сервируйте модели и AI‑приложения за считанные минуты: API, очереди, мульти‑модельные пайплайны и LLM‑сервисы.

★ 8,663 · Python
InternLM/lmdeploy

LMDeploy: ЛЁГКОЕ РАЗВЁРТЫВАНИЕ LLM

Набор инструментов для сжатия, деплоя и обслуживания LLM. ⭐ 7873 | Python

★ 7,873 · Python
bojieli/ai-infra-book

AI Infra: Книга по LLM

Открытая книга о量化 анализе и системном проектировании LLM inference и training, включающая полный текст, PDF и инструменты расчётов.

★ 7,748 · Python
drumih/turbo-fieldfare

TURBO-FIELDFARE - GEMMA 4 НА МАКБУКЕ

Запускайте Gemma 4 26B‑A4B на любом MacBook с чипом M‑series, используя менее 2 ГБ ОЗУ. Быстро и без лишних ресурсов.

★ 7,391 · Swift
katanemo/plano

PLANO: ИИ-ПРОКСИ ДЛЯ АГЕНТОВ

AI-native прокси и плоскость данных для агентных приложений с оркестрацией и безопасностью.

★ 6,567 · Rust
cactus-compute/engine

AI РАМКА ДЛЯ УСТРОЙСТВ

Этот проект предлагает low-bit quant kernels и runtime для consumer устройств. Поддержка Android, ARM и edge-ai фреймворков.

★ 6,192 · C++
gpustack/gpustack

GPU менеджер кластера

Управление GPU-кластерами с автоматической настройкой и оркестрацией движков инференса (vLLM, SGLang) для высокопроизводительного развёртывания моделей ИИ.

★ 5,041 · Python
cactus-compute/cactus

Эффективный ИИ для мобильных устройств

Движок искусственного интеллекта с минимальной задержкой для смартфонов и носимых устройств.

★ 4,949 · C
algorithmicsuperintelligence/optillm

OPTILLM — УСКОРЯЕМ ИНФЕРЕНС LLM

optillm — прокси‑ускоритель для LLM, снижает задержку и экономит ресурсы при инференсе.

★ 4,343 · Python
lemonade-sdk/lemonade

Lemonade SDK

Lemonade помогает пользователям запускать локальные AI-приложения, оптимизируя работу LLM на их GPU и NPU. Присоединяйтесь к нашему Discord!

★ 4,059 · C++
NVIDIA/GenerativeAIExamples

GENERATIVE AI МИКРОСЕРВИСНЫЙ ВОРКФЛОУ

Набор примеров генеративного ИИ, оптимизированных для ускоренной инфраструктуры и микросервисной архитектуры. Готовые Jupyter‑ноутбуки для быстрого старта.

★ 4,037 · Jupyter Notebook
hemansnation/AI-Engineer-Headquarters

AI‑ENGINEER HQ: НАУЧНЫЙ ТОЛК

Проект содержит Jupyter‑ноутбуки с методами обучения моделей, пайплайны RAG на LangChain и алгоритмы структур данных для AI‑агентов. Позволяет быстро создавать, тестирова

★ 3,780 · Jupyter Notebook
mw00/project-maya

PROJECT MAYA: ЛОКАЛЬНЫЙ ЗАПУСК LLM

Project Maya позволяет запускать GLM-5.3-Flash (321B MoE) локально на одном или до 16 GPU, поддерживая NVIDIA и AMD под Linux и Windows. В комплекте — движок, сервер, даш

★ 2,898 · C++
syv-ai/HyperQwen

HyperQwen: Qwen на потребительских GPU

Проект оптимизирует запуск больших моделей Qwen на доступных GPU с помощью vLLM патчей и реквантизации. Достигает 127 ток/с на 24 ГБ.

★ 2,713 · Python
youssofal/MTPLX

МТПЛХ СУПЕРБЫСТРЫЙ ЗАПУСК

MTPLX позволяет запускать Qwen 3.8 Flash Next и Qwen 3.8 27B на Mac достигая 125 токенов/сек в OpenCode. Благодаря MTP speculative decoding на Apple Silicon результаты то

★ 2,706 · Python
incoai/splash

Локальный AI движок

Splash позволяет запускать модели машинного обучения непосредственно на Mac с Apple silicon, используя полную мощность CPU и GPU без зависимости от облака.

★ 2,284 · Python
ashhart/TensorFold

TENSORFOLD: БЫСТРОЕ ДЕКОДИРОВАНИЕ LLM

TensorFold обеспечивает точное и быстрое декодирование LLM на Apple Silicon через MLX, предоставляя API, совместимый с OpenAI. Проект на Python уже собрал 526 звёзд и под

★ 2,172 · Python
datawhalechina/zero-to-sglang

ZERO-TO-SGLANG: ОБУЧЕНИЕ LLM ИНФЕРЕНСУ

Курс от Datawhale и SGLang教你 с нуля понять инференс LLM, собрать мини‑версию SGLang и изучить исходный код, чтобы оформить первый PR. Доступно на английском и китайском.

★ 2,136 · Python
ovg-project/kvcached

KVCACHED: УСКОРИТЕ GPU КЭШ

Виртуализированный эластичный KV‑кеш для динамического совместного использования GPU, ускоряет inference LLM и снижает задержки.

★ 2,041 · Python
AtomicBot-ai/Atomic-Chat

ЛОКАЛЬНЫЙ AI-АГЕНТ С ОТКРЫТЫМ ИСКОДНИКОМ

Atomic-Chat — приватный AI-движок для локального запуска LLM без интернета. Полностью offline на вашем компьютере. ⭐ 967 звёзд на GitHub.

★ 2,008 · TypeScript
Nano-Collective/nanocoder

Нанокодер — локальный помощник

Красивый локальный агент для кодинга в терминале, созданный сообществом для сообщества ⚒

★ 1,957 · TypeScript
neuron-core/neuron-ai

НЕЙРОН-АИ PHP ФРЕЙМВОРК

Фреймворк на PHP для создания ИИ-агентов, соединяющий LLM, векторные БД и память.

★ 1,951 · PHP
beam-cloud/beta9

BETA9 - МОЛНЕНОСНЫЙ GPU ВЫВОД

Ultrafast serverless GPU inference with sandboxes and background jobs, written in Go for instant scaling.

★ 1,664 · Go
felladrin/awesome-ai-web-search

AWESOME-AI-WEB-SEARCH - ТОП ИНСТРУМЕНТОВ AI ПОИСКА

Подборка лучших веб‑инструментов, где ИИ помогает искать информацию в сети быстрее и точнее.

★ 1,519 · HTML
lean-dojo/LeanCopilot

LEANCOPILOT: ИИ-ПОМОЩНИК ДЛЯ ДОКАЗАТЕЛЬСТВ

Проект использует большие языковые модели в качестве copilot для помощи в доказывании теорем в Lean.

★ 1,345 · C++
eagle-hq/EAGLE-4

EAGLE-4: Ускоренный вывод LLM

Официальная реализация EAGLE-4 — метода спекулятивного декодирования для ускорения генерации больших языковых моделей без потери качества.

★ 1,287 · Python
jmaczan/tiny-vllm

TINY VLLM: СОБЕРИ СВОЙ LLM

Мини‑версия vLLM на C++ и CUDA для быстрого вывода больших языковых моделей. Позволяет создавать собственный высокопроизводительный движок inference.

★ 1,194 · C++
patchy631/time-to-first-token

Маршрут оптимизации LLM inference

10‑недельный план по изучению сервиса и ускорения работы больших языковых моделей, включающий практики vLLM, SGLang, квантизации и спекулятивного декодирования.

★ 1,179 · HTML
dalisoft/awesome-hosting

AWESOME-HOSTING ТОП ДЕШЕВЫХ ХОСТИНГОВ

Подборка лучших хостингов, отсортированных по цене минимального тарифа. Быстро найдите самый выгодный вариант для своего проекта.

★ 970
feder-cr/jev

JEVOS: БИНАРНЫЕ РЕШЕНИЯ НА НОУТБУКЕ

Jevos — открытая альтернатива Jev для решений да/нет. Работает полностью локально на CPU через FastAPI. Данные не покидают устройство.

★ 963 · Python
foldl/chatllm.cpp

ЧАТ-БОТЫ НА ПК НА ЧИСТОМ C++

Реализация нескольких моделей для общения в реальном времени прямо на вашем компьютере. Работает на CPU и GPU.

★ 942 · C++
eastriverlee/LLM.swift

LLM.SWIFT - ЛОКАЛЬНЫЙ ДОСТУП К LLM

Простая библиотека для работы с большими языковыми моделями локально на всех платформах Apple.

★ 884 · C++
ARahim3/kaggle-tpu-lab

БЕСПЛАТНЫЙ TPU ДЛЯ QWEN3.8-27B

Проект kaggle-tpu-lab запускает Qwen3.8-27B (bf16) на бесплатном TPU Kaggle, предоставляя OpenAI‑совместимый API. Поддерживает контекст 262 к токенов и скорость ~130 токе

★ 801 · Python
pegainfer-project/pegainfer

PEGAINFER: РАСТ + CUDA ИНФЕР

Движок LLM на чистом Rust с CUDA‑ускорением, совместимый с OpenAI API, запускает Qwen3 и Kimi‑K2 без PyTorch.

★ 742 · Rust
ARahim3/mlx-dspark

MLX-DSPARK: УСКОРЕНИЕ LLM В 4X

Портативный MLX-порт DeepSeek DSpark и z‑lab DFlash для ускорения декодирования LLM на Apple Silicon до 4× без потери качества.

★ 740 · Python
carloslfu/slotstream

SLOTSTREAM ЗАПУСКАЕТ QWEN3.8 НА МАК

Запустите Qwen3.8‑Flash‑Next (125B MoE, 104 ГБ в 4‑бит) на Mac, загружая эксперты по требованию с SSD. Реализовано на MLX + Swift, предоставляет API, совместимый с Ollama

★ 673 · Swift
timmyy123/LLM-Hub

LLM-Hub: ИИ-АССИСТЕНТ В ТВОЁМ ТЕЛЕФОНЕ

Запускать языковые модели теперь можно прямо на Android! Всё работает локально — никакого интернета, только максимальная скорость и полная приватность.

★ 655 · Kotlin
NightMean/OlliteRT

OLLITERT LLM СЕРВЕР ANDROID

OlliteRT превращает Android‑смартфон в локальный OpenAI‑совместимый LLM‑сервер. Работает полностью офлайн, гарантируя конфиденциальность и открытый код на Kotlin.

★ 633 · Kotlin
NotPunchnox/rkllama

RKLLAMA — ЛОКАЛЬНЫЙ ИИ НА ROCKCHIP

Альтернатива Ollama для Rockchip NPU. Запускайте модели ИИ и Deep Learning прямо на устройствах Rockchip с оптимизацией под NPU.

★ 627 · Python
felladrin/MiniSearch

MINISEARCH: ПОИСК С AI В БРАУЗЕРЕ

Минималистичная веб-поисковая платформа с AI-ассистентом, работающая прямо в браузере. 572 звезды на GitHub.

★ 608 · TypeScript
Indras-Mirror/Xolotl

ЗАПУСК DEEPSEEK-V4.1 552B НА ОДНОМ ПК

Xolotl — движок для запуска крупных MoE-моделей (DeepSeek-V4.1-Flash 552B, GLM-5.3-Flash, Qwen3.8, LFM3-Omni) на одном ПК с RTX 4090. Обеспечивает 33 ток/с на агентских з

★ 534 · C++
ome-projects/ome

LLM-СЕРВИНГ В KUBERNETES

OME — оператор для запуска LLM в Kubernetes с умным планированием GPU и поддержкой SGLang, vLLM, TensorRT-LLM и Triton.

★ 527 · Go
expectedparrot/edsl

AI-ОПРОСЫ НА СТЕРОИДАХ

edsl — фреймворк для создания AI-опросов и экспериментов с тысячами AI-агентов. Идеально для соцнаук и маркетинга.

★ 519 · Python
OmniJev/Flide

FLIDE: МГНОВЕННЫЙ ИНФЕРЕНС РЕШЕНИЙ

Flide — движок вывода для моделей принятия решений с поддержкой CUDA. Обеспечивает детерминированный инференс Gemma и других моделей за микросекунды. Идеален для AI-агент

★ 501 · Python
modular/llm-inference-handbook

ПОЛНОЕ РУКОВОДСТВО LLM ИНФЕРЕНСА

Сборник лучших практик, инструментов и примеров для эффективного вывода больших языковых моделей на TypeScript.

★ 481 · TypeScript
jjiantong/Awesome-KV-Cache-Optimization

ОПТИМИЗАЦИЯ KV-CACHE ДЛЯ LLM

Обзор методов оптимизации KV-Cache для эффективного обслуживания больших языковых моделей. Системный подход к ускорению инференса.

★ 426 · Python
amitshekhariitbhu/llm-inference-engineering

Инженерия инференса LLM

Пошаговое обучение инженерным техникам inference для больших языковых моделей: KV cache, PagedAttention, батчинг и фреймворки vLLM, SGLang.

★ 412 · Markdown
zeraix/zeraix

ZERAIX: ЛОКАЛЬНЫЙ AI РАБОЧИЙ СТОЛ

Локальное open-source окружение для запуска ИИ-моделей на устройстве. Ускоряет inference без облака.

★ 405 · TypeScript
Context-Engine-AI/Context-Engine

КОНТЕКСТ-ЭНДЖИН СЖАТИЕ КОНТЕКСТА

Контекст-Engine MCP сжимает промпты агентов, повышая эффективность LLM без потери смысла. Поддержка Python и готов к интеграции.

★ 402 · Python
JakeATX/llamAmpere

LLAMAMPERE: УСКОРЕНИЕ LLM НА RTX 3090

Форк llama.cpp с оптимизацией под Ampere GPU. Даёт 110+ токенов/с на Qwen 3.8 при 100K контексте. Работает на 12 ГБ VRAM с 200K+ контекстом.

★ 380 · C++
DebarghaG/proofofthought

LLM РЕАЗОНИРОВАНИЕ ЧЕРЕЗ Z3 ДОКАЗАТЕЛЬСТВО

Проект объединяет LLM и Z3 для формальной верификации рассуждений. Поддерживает SMT2 и JSON DSL бэкенды. 377 звёзд на GitHub.

★ 377 · Python
matrixhub-ai/matrixhub

MATRIXHUB: AI-ХАБ С ОТКРЫТЫМ КОДОМ

Self-hosted платформа для AI-моделей с совместимостью Hugging Face и ускорением vLLM/SGLang. Звёзды: 246 ⭐

★ 367 · Go
mlco2/ecologits

ЭКОЛОГИТ: ОЦЕНКА ЭНЕРГИИ

EcoLogits измеряет потребление энергии и углеродный след при работе с генеративными ИИ-моделями через API. Он собирает метрики выбросов CO₂ и предлагает рекомендации по с

★ 364 · Python
monocle2ai/monocle

MONOCLE - ТРЕЙСИНГ GenAI ПРИЛОЖЕНИЙ

Фреймворк для трейсинга кода GenAI-приложений на Python. Отслеживайте выполнение ваших AI-приложений с легкостью.

★ 346 · Python

Новые проекты по теме — в Telegram

Telegram →
LLM Inference — 76 open-source проектов на GitHub | REDDYX AI