Inference: open-source проекты на GitHub
88 репозиториев по теме Inference, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.
// СМЕЖНЫЕ ТЕМЫ
ПЕРЕЖИВИ LLM-ХАОС
Open-source инструмент на Go для тонкой настройки, сборки и деплоя LLM одной командой.
★ 545 · GoDISLLM ИНФЕРЕНС НА MOJO
Запускает диффузионные LLM (LLaDA, Dream) локально на CPU без GPU. Написан на Mojo с поддержкой GGUF-формата. 289 звёзд на GitHub.
★ 540 · MojoЭКСПЕРИМЕНТАЛЬНАЯ БИБЛИОТЕКА ИНФЕРЕНСА
resin — экспериментальная Python-библиотека для создания движков инференса LLM. Поддерживает CUDA, GPU-ускорение и работу с моделями вроде DeepSeek и GPT-OSS. Проект на р
★ 432 · PythonDS4 НА SPARK: УСКОРЕНИЕ 3X
Однокомандная установка fork ds4 на NVIDIA DGX Spark с ~3‑кратным ускорением prefill и ~1.5‑кратным decode.
★ 415 · ShellMagiCompiler - БЕСПЛАТНАЯ ОПТИМИЗАЦИЯ ДЛЯ МОДЕЛЕЙ
MagiCompiler — plug‑and‑play компилятор на Python, который автоматически добавляет бесплатные оптимизации для инференса и обучения моделей.
★ 337 · PythonFLAMA: ОДНА СТРОКА ДЛЯ AI API
Фреймворк для быстрого развёртывания моделей AI как API с готовым чатом и поддержкой MCP.
★ 307 · PythonGPU ПО ОЧЕРЕДИ БЕЗ КРАШЕЙ
Berth арендует видеокарту движкам чата, изображений и голоса по очереди. Два процесса никогда не загрузятся вместе и не уронят друг друга. Один бинарник на Go, зависимост
★ 297 · GoTURBO LLM: ОФФЛАЙН С ИИ
Запускай любую локальную LLM, автонастройка под GPU, веб‑интерфейс и API совместимый с OpenAI/Anthropic.
★ 296 · TypeScriptСОБЕРИ СВОЙ AI ИНТРАНЕТ
Автономная сетка объединяет ваши компьютеры в единую инфраструктуру для запуска AI‑моделей: обучение, дообучение и инференс. Поддерживает распределённые вычисления, fine‑
★ 278 · PythonПРОФИЛИРОВЩИК ДЛЯ AI АГЕНТОВ И LLM
Graphsignal Profiler — это инструмент для отладки и мониторинга инференса. Он помогает находить узкие места в производительности глубоких нейросетей и AI агентов. Идеальн
★ 276 · PythonKOTLIN И AI: ПРАКТИЧНЫЕ ПРИМЕРЫ
Коллекция Kotlin‑примеров с Spring AI, LangChain4j и Jupyter‑ноутбуками для практического изучения AI.
★ 272 · Jupyter NotebookHYPERLOOM АВТООПТИМИЗАЦИЯ LLM НА AMD
Hyperloom — агентная система, которая автоматически оптимизирует рабочие нагрузки больших языковых моделей на GPU AMD. Она подбирает ядра и параметры для максимальной про
★ 271 · PythonLLMKUBE: LLM В KUBERNETES
LLMKube - оператор Kubernetes для LLM‑инференса на смешанном GPU‑флоте: NVIDIA CUDA, AMD Vulkan, Apple Silicon Metal. Поддерживает llama.cpp, vLLM, TGI, mlx-server, мульт
★ 266 · GoЕДИНЫЙ ШЛЮЗ К МОДЕЛЯМ ИИ
llm7.io предоставляет единый API‑шлюз к десяткам моделей ИИ от OpenAI, Anthropic, Cohere и других. Единый интерфейс позволяет переключаться между провайдерами, обеспечива
★ 262 · TypeScriptPIE — СЕРВИНГ МОДЕЛЕЙ НА RUST
Программируемый движок для высокопроизводительного сервинга LLM и диффузионных моделей. Написан на Rust, поддерживает батчинг, кэширование KV и динамическую загрузку адап
★ 240 · RustPURE-RUST ДВИЖОК ДЛЯ QWEN GGUF
RustingStrata — чисто на Rust движок вывода для Qwen GGUF (Qwen3–3.8, MoE до 770B+). Поддерживает CUDA/Vulkan, гибрид CPU+GPU, MTP спекулятивное декодирование. До 1.7x ll
★ 231 · RustCAMELID: ЛОКАЛЬНЫЙ ИИ НА RUST
Camelid — бэкенд для локального вывода на Rust, совместимый с моделями через доказательную совместимость. Поддерживает Apple Silicon, GGUF, Llama и другие LLM, работает п
★ 221 · RustПЕГАФЛОУ KV КЭШ ДЛЯ LLM
Pegaflow — высокопроизводительное хранилище KV‑кэша для инференса LLM. Поддерживает выгрузку на GPU, кэширование на SSD и обмен между узлами через RDMA. Совместимо с vLLM
★ 221 · RustON-DEVICE AI SDK KOTLIN
Llamatik — on-device AI SDK для Kotlin Multiplatform (Android, iOS, Desktop, JVM, WASM). Поддерживает LLM inference, Speech-to-Text, генерацию изображений, Agent Framewor
★ 220 · KotlinАНУБИС: БЕНЧМАРК LLM НА APPLE SILICON
anubis-oss — Swift‑утилита для локального запуска и бенчмаркинга LLM на Apple Silicon. Она измеряет скорость и точность инференса на GPU, сравнивая результаты с CPU‑базой
★ 217 · SwiftAI В БРАУЗЕРЕ БЕЗ СЕРВЕРА
Библиотека провайдеров для Vercel AI SDK запускает модели прямо в браузере. Упрощает клиентскую интеграцию ИИ и унифицирует работу с разными вендорами. 205 звёзд на GitHu
★ 207 · TypeScriptУльтрабыстрый Qwen3-TTS
Библиотека для мгновенного синтеза речи на базе Qwen3, обеспечивающая время до первого аудио менее 50 мс при нагрузке 10 запросов в секунду.
★ 192 · PythonКалькулятор TCO для LLM
Bindwidth оценивает аппаратные потребности и TCO для запуска LLMs локально, используя реальные данные для подсчёта нужных GPU/CPU и расчёта энергопотребления, амортизации
★ 109 · JavaScriptСамостоятельный шлюз LLM
Один бинарник Go превращает ваши Mac и Linux‑машины в приватный кластер инференса с мульти‑машинным роутингом, шардингом через llama.cpp‑RPC и поддержкой API OpenAI и Ant
★ 38 · GoИнференсный агент Tokenmaxxing
Agentic-in/inferoa — это фреймворк для создания агентов, оптимизированных под инференс с технологией Tokenmaxxing, обеспечивающий высокую эффективность работы с большими
★ 38 · TypeScriptDVLT на CUDA без зависимостей
Проект переносит NVIDIA DVLT на чистый CUDA/C++, позволяя подавать изображения и получать 3D точечное облако вместе с позициями камеры. Всё упаковано в один быстрый 5‑МБ
★ 31 · CudaPure Rust LFM2.5-8B-A1B
CPU-only реализация модели LiquidAI LFM2.5-8B-A1B на чистом Rust. Позволяет выполнять инференс текста без GPU и внешних библиотек.
★ 31 · RustMEMRA - ИИ УСКОРИТЕЛЬ ДЛЯ RTX
Memra — это реализация inference LLM с нуля, оптимизированная под архитектуры RTX 5090 (sm_120a) и H100 (sm_90a) на Rust.
★ 6 · RustНовые проекты по теме — в Telegram
Telegram →