R_REDDYX.XYZ

Cuda: open-source проекты на GitHub

46 репозиториев по теме Cuda, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.

// СМЕЖНЫЕ ТЕМЫ

LLM 2064Inference 88Qwen 101LLM Inference 76Moe 23Gguf 45GPU 45Pytorch 91Deepseek 223Vllm 62Local LLM 102Speculative Decoding 21Llama 106Openai API 86
debpalash/VoiceStudio

ЛОКАЛЬНЫЙ AI-СТУДИЯ ГОЛОСА С КЛОНИРОВАНИЕМ И ДАБИНГОМ

Открытый кроссплатформенный инструмент для клонирования голоса, даббинга видео и создания аудиокниг на 646 языках. Работает полностью локально без облачных API и регистра

★ 110,614 · Python
vllm-project/vllm

Высокопроизводительный движок LLM

Высокопроизводительный и память‑эффективный движок для инференса и обслуживания больших языковых моделей.

★ 79,783 · Python
sgl-project/sglang

SGLang: Фреймворк LLM

SGLang — это высокопроизводительный фреймворк для обслуживания больших языковых и мультимодальных моделей.

★ 27,854 · Python
LMCache/LMCache

LMCache: Ускорение LLM

Самый быстрый слой кэширования KV для больших языковых моделей, повышающий производительность и снижающий задержки.

★ 8,292 · Python
gpustack/gpustack

GPU менеджер кластера

Управление GPU-кластерами с автоматической настройкой и оркестрацией движков инференса (vLLM, SGLang) для высокопроизводительного развёртывания моделей ИИ.

★ 5,041 · Python
NVIDIA/skills

NVIDIA AGENT SKILLS

Набор навыков для агентов кодинга, позволяющий запускать физический AI, робототехнику, симуляции, CUDA и RAG в Claude Code и Codex.

★ 4,002 · Python
BBuf/how-to-optim-algorithm-in-cuda

ОПТИМИЗАЦИЯ АЛГОРИТМОВ В CUDA

Гайд, как оптимизировать алгоритмы на CUDA для максимальной производительности. ⭐️ 3091 звезда

★ 3,353 · Cuda
mw00/project-maya

PROJECT MAYA: ЛОКАЛЬНЫЙ ЗАПУСК LLM

Project Maya позволяет запускать GLM-5.3-Flash (321B MoE) локально на одном или до 16 GPU, поддерживая NVIDIA и AMD под Linux и Windows. В комплекте — движок, сервер, даш

★ 2,898 · C++
containers/ramalama

RAMALAMA ЛЕГКИЙ ЗАПУСК AI

RamaLama — открытый инструмент на Python, который позволяет быстро запускать любые AI‑модели в контейнерах и использовать их для инференса в продакшене.

★ 2,872 · Python
syv-ai/HyperQwen

HyperQwen: Qwen на потребительских GPU

Проект оптимизирует запуск больших моделей Qwen на доступных GPU с помощью vLLM патчей и реквантизации. Достигает 127 ток/с на 24 ГБ.

★ 2,713 · Python
withcatai/node-llama-cpp

ЗАПУСКАЙ LLM ЛОКАЛЬНО В NODE.JS

Запускайте AI-модели прямо на своём компьютере через node.js. Принудительная валидация JSON-схемы прямо на уровне генерации.

★ 2,205 · TypeScript
Luce-Org/lucebox-hub

Lucebox Hub

Высокоскоростной сервер для локального запуска LLM на потребительском оборудовании. На С++ для максимальной производительности.

★ 2,167 · C++
datawhalechina/zero-to-sglang

ZERO-TO-SGLANG: ОБУЧЕНИЕ LLM ИНФЕРЕНСУ

Курс от Datawhale и SGLang教你 с нуля понять инференс LLM, собрать мини‑версию SGLang и изучить исходный код, чтобы оформить первый PR. Доступно на английском и китайском.

★ 2,136 · Python
sgl-project/sglang-omni

SGLANG-OMNI: ОМНИ-СЕРВИС ДЛЯ ИИ

SGLang-Omni обеспечивает высокопроизводительный запуск моделей TTS, ASR и речевых omni-моделей на Python.

★ 1,791 · Python
beam-cloud/beta9

BETA9 - МОЛНЕНОСНЫЙ GPU ВЫВОД

Ultrafast serverless GPU inference with sandboxes and background jobs, written in Go for instant scaling.

★ 1,664 · Go
uccl-project/uccl

UCCL: GPU СВЯЗЬ НА МАКСИМУМЕ

Быстрая библиотека для эффективного обмена данными между GPU: коллективные операции, P2P и ускорение инференса.

★ 1,586 · C++
psalias2006/gpu-hot

🔥 ДАШБОРД ДЛЯ NVIDIA GPU В РЕАЛЬНОМ ВРЕМЕНИ

GPU-hot — веб-дэшборд для мониторинга NVIDIA GPU с показом температуры, загрузки и памяти в реальном времени. Уже под 1500 звёзд на GitHub! 🌟

★ 1,543 · JavaScript
tenstorrent/tt-metal

tt-metal - МЕТАЛЛИЧЕСКАЯ БИБЛИОТЕКА ОПЕРАЦИЙ

Библиотека TT-NN операторов и низкоуровневая модель программирования ядер TT-Metalium для ускорения AI‑ workloads на собственном оборудовании.

★ 1,505 · C++
jmaczan/tiny-vllm

TINY VLLM: СОБЕРИ СВОЙ LLM

Мини‑версия vLLM на C++ и CUDA для быстрого вывода больших языковых моделей. Позволяет создавать собственный высокопроизводительный движок inference.

★ 1,194 · C++
wici-ai/inferssd

МОДЕЛИ БОЛЬШЕ VRAM НА SSD

inferssd запускает MoE-модели, превышающие RAM и VRAM, стримя экспертов с SSD. Построен на llama.cpp, поддерживает GGUF, CUDA и Apple Silicon. 288 звёзд на GitHub.

★ 1,108 · C++
NVIDIA/raft

RAFT - УСКОРЯЕМ ML НА CUDA

Библиотека RAFT предоставляет CUDA‑ускоренные алгоритмы машинного обучения и поиска информации, упрощая создание высокопроизводительных приложений.

★ 1,054 · Cuda
simplexai-labs/PolyStrata

ЗАПУСТИ БОЛЬШИЕ LLM ЛОКАЛЬНО

PolyStrata позволяет запускать Qwen3.8-Flash, GLM 5.3 Flash, DeepSeek V4 и другие модели на своем ПК. Установка за один клик на Windows и Linux с поддержкой OpenAI/Anthro

★ 1,037 · C++
SemiAnalysisAI/InferenceX

INFERENCEX – БЕНЧМАРК ИНФЕРЕНСЕ

Open‑source бенчмарк непрерывного инференса для Qwen3.5, DeepSeek, GPTOSS и новых ускорителей.

★ 1,016 · Python
NVIDIA/cuvs

CUVS - УСКОРЕННЫЙ ПОИСК ВЕКТОРОВ

cuvs — библиотека для быстрого векторного поиска и кластеризации на GPU, использующая CUDA для максимальной производительности.

★ 897 · Cuda
TrenTorch/TrenTorch

Глубокое обучение от основ

Образовательный фреймворк для понимания ML изнутри: реализация нейросетей, CUDA-ядер и RL-алгоритмов с нуля без готовых библиотек.

★ 842 · Python
invergent-ai/surogate

SURROGATE — МОЩНЫЙ FINE-TUNING НА C++

Обучение и тонкая настройка моделей на скорости света. 796 звёзд на GitHub.

★ 796 · C++
pegainfer-project/pegainfer

PEGAINFER: РАСТ + CUDA ИНФЕР

Движок LLM на чистом Rust с CUDA‑ускорением, совместимый с OpenAI API, запускает Qwen3 и Kimi‑K2 без PyTorch.

★ 742 · Rust
kanaworksai-hue/audio-studio-mcp

ЛОКАЛЬНАЯ AI ГЕНЕРАЦИЯ АУДИО

audio-studio-mcp запускает Stable Audio 3 на Apple Silicon через MLX и на NVIDIA GPU через PyTorch. Генерирует фоновую музыку и звуковые эффекты для Claude Code и любых M

★ 669 · Python
inducer/loopy

LOOPY — GENERATOR ДЛЯ CPU & GPU

Loopy автоматически генерирует массивный код для процессоров и видеокарт на Python. 631 звезда на GitHub.

★ 640 · Python
BobMcDear/attorch

ATORCH: ПЯТОНСКИЙ PYTORCH

Библиотека attorch предлагает подмножество модулей нейронных сетей PyTorch, реализованное на Python с использованием Triton от OpenAI для ускорения вычислений.

★ 607 · Python
Code-Amadeus/Amadeus

АМАДЕУС: ИИ-АГЕНТ ДЛЯ РАБОЧЕГО СТОЛА

Amadeus — это реального времени мультимедиа агент для рабочего стола, построенный на Python и использующий CUDA, Electron и GPT‑SoVITS. Проект движется к постоянному AI‑и

★ 554 · Python
Indras-Mirror/Xolotl

ЗАПУСК DEEPSEEK-V4.1 552B НА ОДНОМ ПК

Xolotl — движок для запуска крупных MoE-моделей (DeepSeek-V4.1-Flash 552B, GLM-5.3-Flash, Qwen3.8, LFM3-Omni) на одном ПК с RTX 4090. Обеспечивает 33 ток/с на агентских з

★ 534 · C++
OmniJev/Flide

FLIDE: МГНОВЕННЫЙ ИНФЕРЕНС РЕШЕНИЙ

Flide — движок вывода для моделей принятия решений с поддержкой CUDA. Обеспечивает детерминированный инференс Gemma и других моделей за микросекунды. Идеален для AI-агент

★ 501 · Python
hybridgroup/yzma

YZMA: ЛОКАЛЬНЫЙ LLM В GO

Интеграция llama.cpp в Go-приложения для локального инференса с аппаратным ускорением. 496 звёзд на GitHub.

★ 496 · Go
ekzhang/resin

ЭКСПЕРИМЕНТАЛЬНАЯ БИБЛИОТЕКА ИНФЕРЕНСА

resin — экспериментальная Python-библиотека для создания движков инференса LLM. Поддерживает CUDA, GPU-ускорение и работу с моделями вроде DeepSeek и GPT-OSS. Проект на р

★ 432 · Python
Entrpi/ds4-on-spark

DS4 НА SPARK: УСКОРЕНИЕ 3X

Однокомандная установка fork ds4 на NVIDIA DGX Spark с ~3‑кратным ускорением prefill и ~1.5‑кратным decode.

★ 415 · Shell
JakeATX/llamAmpere

LLAMAMPERE: УСКОРЕНИЕ LLM НА RTX 3090

Форк llama.cpp с оптимизацией под Ampere GPU. Даёт 110+ токенов/с на Qwen 3.8 при 100K контексте. Работает на 12 ГБ VRAM с 200K+ контекстом.

★ 380 · C++
ModelEngine-Group/unified-cache-management

УСКОРЬТЕ LLM С КЕШЕМ

Проект unified-cache-management позволяет сохранять и переиспользовать KV Cache для ускорения работы больших языковых моделей.

★ 356 · Python
raketenkater/ggrun

НЕ ОЛЛАМА — мнение не придерживаюсь

Auto-tuned launcher для GGUF моделей на llama.cpp — сервер с поддержкой нескольких GPU, настройкой под железо и восстановлением после крашей. Звёздочек: 226.

★ 284 · Go
Avarok-Cybersecurity/atlas

Движок инференса для кибербезопасности

Высокопроизводительный движок инференса на Rust с безопасной работой с памятью для задач кибербезопасности.

★ 240 · Rust
giannisanni/pulsar

PULSAR — УЛЬТРАБЫСТРЫЙ ИНФЕРЕНС MOE

Pulsar — SSD‑стриминговый движок для гигантских MoE‑моделей на Rust+CUDA.

★ 238 · Rust
RustingStudio/RustingStrata

PURE-RUST ДВИЖОК ДЛЯ QWEN GGUF

RustingStrata — чисто на Rust движок вывода для Qwen GGUF (Qwen3–3.8, MoE до 770B+). Поддерживает CUDA/Vulkan, гибрид CPU+GPU, MTP спекулятивное декодирование. До 1.7x ll

★ 231 · Rust
divyaprakash0426/autoshorts

AUTOSHORTS AI КЛИПЫ ИГРОВОЙ

Автоматически создаёт вертикальные короткие клипы из длинных игровых записей, анализируя сцены ИИ. GPU‑ускоренный рендер и опциональные AI‑озвучки делают готовые к вирусу

★ 207 · Python
surya-koritala/Glyd

GLYD: LOSSLESS AI COMPRESSION

Glyd снижает GPU-память на 33% без потери данных, обеспечивая бит-в-бит идентичность. Проект написан на Rust и поддерживает CUDA, C‑ABI и CLI для удобного бенчмарка.

★ 200 · Rust
yassa9/dvlt.cu

DVLT на CUDA без зависимостей

Проект переносит NVIDIA DVLT на чистый CUDA/C++, позволяя подавать изображения и получать 3D точечное облако вместе с позициями камеры. Всё упаковано в один быстрый 5‑МБ

★ 31 · Cuda
avifenesh/memra

MEMRA - ИИ УСКОРИТЕЛЬ ДЛЯ RTX

Memra — это реализация inference LLM с нуля, оптимизированная под архитектуры RTX 5090 (sm_120a) и H100 (sm_90a) на Rust.

★ 6 · Rust

Новые проекты по теме — в Telegram

Telegram →
Cuda — 46 open-source проектов на GitHub | REDDYX AI