R_REDDYX.XYZ

Inference: open-source проекты на GitHub

88 репозиториев по теме Inference, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.

// СМЕЖНЫЕ ТЕМЫ

LLM 2064Vllm 62Cuda 46Machine Learning 188Gguf 45Pytorch 91Openai API 86Qwen 101Mlx 48Local LLM 102Deep Learning 101GPU 45Apple Silicon 53Llama Cpp 49
kaito-project/aikit

ПЕРЕЖИВИ LLM-ХАОС

Open-source инструмент на Go для тонкой настройки, сборки и деплоя LLM одной командой.

★ 545 · Go
vladimirrott/mojo-dllm

DISLLM ИНФЕРЕНС НА MOJO

Запускает диффузионные LLM (LLaDA, Dream) локально на CPU без GPU. Написан на Mojo с поддержкой GGUF-формата. 289 звёзд на GitHub.

★ 540 · Mojo
ekzhang/resin

ЭКСПЕРИМЕНТАЛЬНАЯ БИБЛИОТЕКА ИНФЕРЕНСА

resin — экспериментальная Python-библиотека для создания движков инференса LLM. Поддерживает CUDA, GPU-ускорение и работу с моделями вроде DeepSeek и GPT-OSS. Проект на р

★ 432 · Python
Entrpi/ds4-on-spark

DS4 НА SPARK: УСКОРЕНИЕ 3X

Однокомандная установка fork ds4 на NVIDIA DGX Spark с ~3‑кратным ускорением prefill и ~1.5‑кратным decode.

★ 415 · Shell
SandAI-org/MagiCompiler

MagiCompiler - БЕСПЛАТНАЯ ОПТИМИЗАЦИЯ ДЛЯ МОДЕЛЕЙ

MagiCompiler — plug‑and‑play компилятор на Python, который автоматически добавляет бесплатные оптимизации для инференса и обучения моделей.

★ 337 · Python
vortico/flama

FLAMA: ОДНА СТРОКА ДЛЯ AI API

Фреймворк для быстрого развёртывания моделей AI как API с готовым чатом и поддержкой MCP.

★ 307 · Python
T-Crypt/berth

GPU ПО ОЧЕРЕДИ БЕЗ КРАШЕЙ

Berth арендует видеокарту движкам чата, изображений и голоса по очереди. Два процесса никогда не загрузятся вместе и не уронят друг друга. Один бинарник на Go, зависимост

★ 297 · Go
mohitsoni48/TurboLLM

TURBO LLM: ОФФЛАЙН С ИИ

Запускай любую локальную LLM, автонастройка под GPU, веб‑интерфейс и API совместимый с OpenAI/Anthropic.

★ 296 · TypeScript
autonomous-ai/autonomous-grid

СОБЕРИ СВОЙ AI ИНТРАНЕТ

Автономная сетка объединяет ваши компьютеры в единую инфраструктуру для запуска AI‑моделей: обучение, дообучение и инференс. Поддерживает распределённые вычисления, fine‑

★ 278 · Python
graphsignal/graphsignal

ПРОФИЛИРОВЩИК ДЛЯ AI АГЕНТОВ И LLM

Graphsignal Profiler — это инструмент для отладки и мониторинга инференса. Он помогает находить узкие места в производительности глубоких нейросетей и AI агентов. Идеальн

★ 276 · Python
Kotlin/Kotlin-AI-Examples

KOTLIN И AI: ПРАКТИЧНЫЕ ПРИМЕРЫ

Коллекция Kotlin‑примеров с Spring AI, LangChain4j и Jupyter‑ноутбуками для практического изучения AI.

★ 272 · Jupyter Notebook
AMD-AGI/Hyperloom

HYPERLOOM АВТООПТИМИЗАЦИЯ LLM НА AMD

Hyperloom — агентная система, которая автоматически оптимизирует рабочие нагрузки больших языковых моделей на GPU AMD. Она подбирает ядра и параметры для максимальной про

★ 271 · Python
defilantech/LLMKube

LLMKUBE: LLM В KUBERNETES

LLMKube - оператор Kubernetes для LLM‑инференса на смешанном GPU‑флоте: NVIDIA CUDA, AMD Vulkan, Apple Silicon Metal. Поддерживает llama.cpp, vLLM, TGI, mlx-server, мульт

★ 266 · Go
chigwell/llm7.io

ЕДИНЫЙ ШЛЮЗ К МОДЕЛЯМ ИИ

llm7.io предоставляет единый API‑шлюз к десяткам моделей ИИ от OpenAI, Anthropic, Cohere и других. Единый интерфейс позволяет переключаться между провайдерами, обеспечива

★ 262 · TypeScript
pie-project/pie

PIE — СЕРВИНГ МОДЕЛЕЙ НА RUST

Программируемый движок для высокопроизводительного сервинга LLM и диффузионных моделей. Написан на Rust, поддерживает батчинг, кэширование KV и динамическую загрузку адап

★ 240 · Rust
RustingStudio/RustingStrata

PURE-RUST ДВИЖОК ДЛЯ QWEN GGUF

RustingStrata — чисто на Rust движок вывода для Qwen GGUF (Qwen3–3.8, MoE до 770B+). Поддерживает CUDA/Vulkan, гибрид CPU+GPU, MTP спекулятивное декодирование. До 1.7x ll

★ 231 · Rust
timtoole02/Camelid

CAMELID: ЛОКАЛЬНЫЙ ИИ НА RUST

Camelid — бэкенд для локального вывода на Rust, совместимый с моделями через доказательную совместимость. Поддерживает Apple Silicon, GGUF, Llama и другие LLM, работает п

★ 221 · Rust
novitalabs/pegaflow

ПЕГАФЛОУ KV КЭШ ДЛЯ LLM

Pegaflow — высокопроизводительное хранилище KV‑кэша для инференса LLM. Поддерживает выгрузку на GPU, кэширование на SSD и обмен между узлами через RDMA. Совместимо с vLLM

★ 221 · Rust
llamatik/Llamatik

ON-DEVICE AI SDK KOTLIN

Llamatik — on-device AI SDK для Kotlin Multiplatform (Android, iOS, Desktop, JVM, WASM). Поддерживает LLM inference, Speech-to-Text, генерацию изображений, Agent Framewor

★ 220 · Kotlin
uncSoft/anubis-oss

АНУБИС: БЕНЧМАРК LLM НА APPLE SILICON

anubis-oss — Swift‑утилита для локального запуска и бенчмаркинга LLM на Apple Silicon. Она измеряет скорость и точность инференса на GPU, сравнивая результаты с CPU‑базой

★ 217 · Swift
jakobhoeg/browser-ai

AI В БРАУЗЕРЕ БЕЗ СЕРВЕРА

Библиотека провайдеров для Vercel AI SDK запускает модели прямо в браузере. Упрощает клиентскую интеграцию ИИ и унифицирует работу с разными вендорами. 205 звёзд на GitHu

★ 207 · TypeScript
nari-labs/nari-qwen3-tts

Ультрабыстрый Qwen3-TTS

Библиотека для мгновенного синтеза речи на базе Qwen3, обеспечивающая время до первого аудио менее 50 мс при нагрузке 10 запросов в секунду.

★ 192 · Python
juxhinr/bindwidth

Калькулятор TCO для LLM

Bindwidth оценивает аппаратные потребности и TCO для запуска LLMs локально, используя реальные данные для подсчёта нужных GPU/CPU и расчёта энергопотребления, амортизации

★ 109 · JavaScript
hadihonarvar/flock

Самостоятельный шлюз LLM

Один бинарник Go превращает ваши Mac и Linux‑машины в приватный кластер инференса с мульти‑машинным роутингом, шардингом через llama.cpp‑RPC и поддержкой API OpenAI и Ant

★ 38 · Go
agentic-in/inferoa

Инференсный агент Tokenmaxxing

Agentic-in/inferoa — это фреймворк для создания агентов, оптимизированных под инференс с технологией Tokenmaxxing, обеспечивающий высокую эффективность работы с большими

★ 38 · TypeScript
yassa9/dvlt.cu

DVLT на CUDA без зависимостей

Проект переносит NVIDIA DVLT на чистый CUDA/C++, позволяя подавать изображения и получать 3D точечное облако вместе с позициями камеры. Всё упаковано в один быстрый 5‑МБ

★ 31 · Cuda
maximecb/bebelm

Pure Rust LFM2.5-8B-A1B

CPU-only реализация модели LiquidAI LFM2.5-8B-A1B на чистом Rust. Позволяет выполнять инференс текста без GPU и внешних библиотек.

★ 31 · Rust
avifenesh/memra

MEMRA - ИИ УСКОРИТЕЛЬ ДЛЯ RTX

Memra — это реализация inference LLM с нуля, оптимизированная под архитектуры RTX 5090 (sm_120a) и H100 (sm_90a) на Rust.

★ 6 · Rust

Новые проекты по теме — в Telegram

Telegram →
Inference — страница 2 | REDDYX AI