LLM Inference: open-source проекты на GitHub
76 репозиториев по теме LLM Inference, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.
// СМЕЖНЫЕ ТЕМЫ
Ray: AI вычислительный движок
Ray — это распределённый движок для AI‑вычислений, объединяющий ядро runtime и набор библиотек для ускорения ML‑рабочих нагрузок.
★ 42,516 · PythonGITLEAKS - НАЙДИТЕ СЕКРЕТЫ В КОДЕ
Мощнейший сканер утечек секретов в Git-репозиториях. Защитите свои ключи и токены!
★ 27,428 · Golitgpt: 20+ МОЩНЫХ LLM ДЛЯ РАЗРАБОТЧИКОВ
Высокопроизводительные языковые модели с готовыми рецептами для предобучения, тонкой настройки и масштабирования. 13К+ звёзд!
★ 13,387 · PythonOPENLLM: ЗАПУСК LLM КАК OPENAI API
OpenLLM позволяет запускать любые открытые LLM (Llama, Qwen, DeepSeek) как OpenAI-совместимые API одной командой. Включает чат-UI, современные бэкенды инференса и готовые
★ 12,607 · PythonKIMI K3: 2.78 ТРЛН ПАРАМЕТРОВ
Запуск модели Kimi K3 с 2,78 трлн параметров на одном CPU, используя всего 8,24 ГБ RAM без BLAS, фреймворков и GPU.
★ 12,109 · CОПТИМИЗАЦИЯ И РАЗВЕРТЫВАНИЕ AI-МОДЕЛЕЙ
Инструментарий для оптимизации и развертывания моделей глубокого обучения. Поддерживает конвертацию из PyTorch, TensorFlow, ONNX и запуск на CPU, GPU и NPU Intel.
★ 11,656 · C++BENTOML ПРОСТОЙ ПУТЬ К AI API
Сервируйте модели и AI‑приложения за считанные минуты: API, очереди, мульти‑модельные пайплайны и LLM‑сервисы.
★ 8,663 · PythonLMDeploy: ЛЁГКОЕ РАЗВЁРТЫВАНИЕ LLM
Набор инструментов для сжатия, деплоя и обслуживания LLM. ⭐ 7873 | Python
★ 7,873 · PythonAI Infra: Книга по LLM
Открытая книга о量化 анализе и системном проектировании LLM inference и training, включающая полный текст, PDF и инструменты расчётов.
★ 7,748 · PythonTURBO-FIELDFARE - GEMMA 4 НА МАКБУКЕ
Запускайте Gemma 4 26B‑A4B на любом MacBook с чипом M‑series, используя менее 2 ГБ ОЗУ. Быстро и без лишних ресурсов.
★ 7,391 · SwiftPLANO: ИИ-ПРОКСИ ДЛЯ АГЕНТОВ
AI-native прокси и плоскость данных для агентных приложений с оркестрацией и безопасностью.
★ 6,567 · RustAI РАМКА ДЛЯ УСТРОЙСТВ
Этот проект предлагает low-bit quant kernels и runtime для consumer устройств. Поддержка Android, ARM и edge-ai фреймворков.
★ 6,192 · C++GPU менеджер кластера
Управление GPU-кластерами с автоматической настройкой и оркестрацией движков инференса (vLLM, SGLang) для высокопроизводительного развёртывания моделей ИИ.
★ 5,041 · PythonЭффективный ИИ для мобильных устройств
Движок искусственного интеллекта с минимальной задержкой для смартфонов и носимых устройств.
★ 4,949 · COPTILLM — УСКОРЯЕМ ИНФЕРЕНС LLM
optillm — прокси‑ускоритель для LLM, снижает задержку и экономит ресурсы при инференсе.
★ 4,343 · PythonLemonade SDK
Lemonade помогает пользователям запускать локальные AI-приложения, оптимизируя работу LLM на их GPU и NPU. Присоединяйтесь к нашему Discord!
★ 4,059 · C++GENERATIVE AI МИКРОСЕРВИСНЫЙ ВОРКФЛОУ
Набор примеров генеративного ИИ, оптимизированных для ускоренной инфраструктуры и микросервисной архитектуры. Готовые Jupyter‑ноутбуки для быстрого старта.
★ 4,037 · Jupyter NotebookAI‑ENGINEER HQ: НАУЧНЫЙ ТОЛК
Проект содержит Jupyter‑ноутбуки с методами обучения моделей, пайплайны RAG на LangChain и алгоритмы структур данных для AI‑агентов. Позволяет быстро создавать, тестирова
★ 3,780 · Jupyter NotebookPROJECT MAYA: ЛОКАЛЬНЫЙ ЗАПУСК LLM
Project Maya позволяет запускать GLM-5.3-Flash (321B MoE) локально на одном или до 16 GPU, поддерживая NVIDIA и AMD под Linux и Windows. В комплекте — движок, сервер, даш
★ 2,898 · C++HyperQwen: Qwen на потребительских GPU
Проект оптимизирует запуск больших моделей Qwen на доступных GPU с помощью vLLM патчей и реквантизации. Достигает 127 ток/с на 24 ГБ.
★ 2,713 · PythonМТПЛХ СУПЕРБЫСТРЫЙ ЗАПУСК
MTPLX позволяет запускать Qwen 3.8 Flash Next и Qwen 3.8 27B на Mac достигая 125 токенов/сек в OpenCode. Благодаря MTP speculative decoding на Apple Silicon результаты то
★ 2,706 · PythonЛокальный AI движок
Splash позволяет запускать модели машинного обучения непосредственно на Mac с Apple silicon, используя полную мощность CPU и GPU без зависимости от облака.
★ 2,284 · PythonTENSORFOLD: БЫСТРОЕ ДЕКОДИРОВАНИЕ LLM
TensorFold обеспечивает точное и быстрое декодирование LLM на Apple Silicon через MLX, предоставляя API, совместимый с OpenAI. Проект на Python уже собрал 526 звёзд и под
★ 2,172 · PythonZERO-TO-SGLANG: ОБУЧЕНИЕ LLM ИНФЕРЕНСУ
Курс от Datawhale и SGLang教你 с нуля понять инференс LLM, собрать мини‑версию SGLang и изучить исходный код, чтобы оформить первый PR. Доступно на английском и китайском.
★ 2,136 · PythonKVCACHED: УСКОРИТЕ GPU КЭШ
Виртуализированный эластичный KV‑кеш для динамического совместного использования GPU, ускоряет inference LLM и снижает задержки.
★ 2,041 · PythonЛОКАЛЬНЫЙ AI-АГЕНТ С ОТКРЫТЫМ ИСКОДНИКОМ
Atomic-Chat — приватный AI-движок для локального запуска LLM без интернета. Полностью offline на вашем компьютере. ⭐ 967 звёзд на GitHub.
★ 2,008 · TypeScriptНанокодер — локальный помощник
Красивый локальный агент для кодинга в терминале, созданный сообществом для сообщества ⚒
★ 1,957 · TypeScriptНЕЙРОН-АИ PHP ФРЕЙМВОРК
Фреймворк на PHP для создания ИИ-агентов, соединяющий LLM, векторные БД и память.
★ 1,951 · PHPBETA9 - МОЛНЕНОСНЫЙ GPU ВЫВОД
Ultrafast serverless GPU inference with sandboxes and background jobs, written in Go for instant scaling.
★ 1,664 · GoAWESOME-AI-WEB-SEARCH - ТОП ИНСТРУМЕНТОВ AI ПОИСКА
Подборка лучших веб‑инструментов, где ИИ помогает искать информацию в сети быстрее и точнее.
★ 1,519 · HTMLLEANCOPILOT: ИИ-ПОМОЩНИК ДЛЯ ДОКАЗАТЕЛЬСТВ
Проект использует большие языковые модели в качестве copilot для помощи в доказывании теорем в Lean.
★ 1,345 · C++EAGLE-4: Ускоренный вывод LLM
Официальная реализация EAGLE-4 — метода спекулятивного декодирования для ускорения генерации больших языковых моделей без потери качества.
★ 1,287 · PythonTINY VLLM: СОБЕРИ СВОЙ LLM
Мини‑версия vLLM на C++ и CUDA для быстрого вывода больших языковых моделей. Позволяет создавать собственный высокопроизводительный движок inference.
★ 1,194 · C++Маршрут оптимизации LLM inference
10‑недельный план по изучению сервиса и ускорения работы больших языковых моделей, включающий практики vLLM, SGLang, квантизации и спекулятивного декодирования.
★ 1,179 · HTMLAWESOME-HOSTING ТОП ДЕШЕВЫХ ХОСТИНГОВ
Подборка лучших хостингов, отсортированных по цене минимального тарифа. Быстро найдите самый выгодный вариант для своего проекта.
★ 970JEVOS: БИНАРНЫЕ РЕШЕНИЯ НА НОУТБУКЕ
Jevos — открытая альтернатива Jev для решений да/нет. Работает полностью локально на CPU через FastAPI. Данные не покидают устройство.
★ 963 · PythonЧАТ-БОТЫ НА ПК НА ЧИСТОМ C++
Реализация нескольких моделей для общения в реальном времени прямо на вашем компьютере. Работает на CPU и GPU.
★ 942 · C++LLM.SWIFT - ЛОКАЛЬНЫЙ ДОСТУП К LLM
Простая библиотека для работы с большими языковыми моделями локально на всех платформах Apple.
★ 884 · C++БЕСПЛАТНЫЙ TPU ДЛЯ QWEN3.8-27B
Проект kaggle-tpu-lab запускает Qwen3.8-27B (bf16) на бесплатном TPU Kaggle, предоставляя OpenAI‑совместимый API. Поддерживает контекст 262 к токенов и скорость ~130 токе
★ 801 · PythonPEGAINFER: РАСТ + CUDA ИНФЕР
Движок LLM на чистом Rust с CUDA‑ускорением, совместимый с OpenAI API, запускает Qwen3 и Kimi‑K2 без PyTorch.
★ 742 · RustMLX-DSPARK: УСКОРЕНИЕ LLM В 4X
Портативный MLX-порт DeepSeek DSpark и z‑lab DFlash для ускорения декодирования LLM на Apple Silicon до 4× без потери качества.
★ 740 · PythonSLOTSTREAM ЗАПУСКАЕТ QWEN3.8 НА МАК
Запустите Qwen3.8‑Flash‑Next (125B MoE, 104 ГБ в 4‑бит) на Mac, загружая эксперты по требованию с SSD. Реализовано на MLX + Swift, предоставляет API, совместимый с Ollama
★ 673 · SwiftLLM-Hub: ИИ-АССИСТЕНТ В ТВОЁМ ТЕЛЕФОНЕ
Запускать языковые модели теперь можно прямо на Android! Всё работает локально — никакого интернета, только максимальная скорость и полная приватность.
★ 655 · KotlinOLLITERT LLM СЕРВЕР ANDROID
OlliteRT превращает Android‑смартфон в локальный OpenAI‑совместимый LLM‑сервер. Работает полностью офлайн, гарантируя конфиденциальность и открытый код на Kotlin.
★ 633 · KotlinRKLLAMA — ЛОКАЛЬНЫЙ ИИ НА ROCKCHIP
Альтернатива Ollama для Rockchip NPU. Запускайте модели ИИ и Deep Learning прямо на устройствах Rockchip с оптимизацией под NPU.
★ 627 · PythonMINISEARCH: ПОИСК С AI В БРАУЗЕРЕ
Минималистичная веб-поисковая платформа с AI-ассистентом, работающая прямо в браузере. 572 звезды на GitHub.
★ 608 · TypeScriptЗАПУСК DEEPSEEK-V4.1 552B НА ОДНОМ ПК
Xolotl — движок для запуска крупных MoE-моделей (DeepSeek-V4.1-Flash 552B, GLM-5.3-Flash, Qwen3.8, LFM3-Omni) на одном ПК с RTX 4090. Обеспечивает 33 ток/с на агентских з
★ 534 · C++LLM-СЕРВИНГ В KUBERNETES
OME — оператор для запуска LLM в Kubernetes с умным планированием GPU и поддержкой SGLang, vLLM, TensorRT-LLM и Triton.
★ 527 · GoAI-ОПРОСЫ НА СТЕРОИДАХ
edsl — фреймворк для создания AI-опросов и экспериментов с тысячами AI-агентов. Идеально для соцнаук и маркетинга.
★ 519 · PythonFLIDE: МГНОВЕННЫЙ ИНФЕРЕНС РЕШЕНИЙ
Flide — движок вывода для моделей принятия решений с поддержкой CUDA. Обеспечивает детерминированный инференс Gemma и других моделей за микросекунды. Идеален для AI-агент
★ 501 · PythonПОЛНОЕ РУКОВОДСТВО LLM ИНФЕРЕНСА
Сборник лучших практик, инструментов и примеров для эффективного вывода больших языковых моделей на TypeScript.
★ 481 · TypeScriptОПТИМИЗАЦИЯ KV-CACHE ДЛЯ LLM
Обзор методов оптимизации KV-Cache для эффективного обслуживания больших языковых моделей. Системный подход к ускорению инференса.
★ 426 · PythonИнженерия инференса LLM
Пошаговое обучение инженерным техникам inference для больших языковых моделей: KV cache, PagedAttention, батчинг и фреймворки vLLM, SGLang.
★ 412 · MarkdownZERAIX: ЛОКАЛЬНЫЙ AI РАБОЧИЙ СТОЛ
Локальное open-source окружение для запуска ИИ-моделей на устройстве. Ускоряет inference без облака.
★ 405 · TypeScriptКОНТЕКСТ-ЭНДЖИН СЖАТИЕ КОНТЕКСТА
Контекст-Engine MCP сжимает промпты агентов, повышая эффективность LLM без потери смысла. Поддержка Python и готов к интеграции.
★ 402 · PythonLLAMAMPERE: УСКОРЕНИЕ LLM НА RTX 3090
Форк llama.cpp с оптимизацией под Ampere GPU. Даёт 110+ токенов/с на Qwen 3.8 при 100K контексте. Работает на 12 ГБ VRAM с 200K+ контекстом.
★ 380 · C++LLM РЕАЗОНИРОВАНИЕ ЧЕРЕЗ Z3 ДОКАЗАТЕЛЬСТВО
Проект объединяет LLM и Z3 для формальной верификации рассуждений. Поддерживает SMT2 и JSON DSL бэкенды. 377 звёзд на GitHub.
★ 377 · PythonMATRIXHUB: AI-ХАБ С ОТКРЫТЫМ КОДОМ
Self-hosted платформа для AI-моделей с совместимостью Hugging Face и ускорением vLLM/SGLang. Звёзды: 246 ⭐
★ 367 · GoЭКОЛОГИТ: ОЦЕНКА ЭНЕРГИИ
EcoLogits измеряет потребление энергии и углеродный след при работе с генеративными ИИ-моделями через API. Он собирает метрики выбросов CO₂ и предлагает рекомендации по с
★ 364 · PythonMONOCLE - ТРЕЙСИНГ GenAI ПРИЛОЖЕНИЙ
Фреймворк для трейсинга кода GenAI-приложений на Python. Отслеживайте выполнение ваших AI-приложений с легкостью.
★ 346 · PythonНовые проекты по теме — в Telegram
Telegram →