Cuda: open-source проекты на GitHub
46 репозиториев по теме Cuda, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.
// СМЕЖНЫЕ ТЕМЫ
ЛОКАЛЬНЫЙ AI-СТУДИЯ ГОЛОСА С КЛОНИРОВАНИЕМ И ДАБИНГОМ
Открытый кроссплатформенный инструмент для клонирования голоса, даббинга видео и создания аудиокниг на 646 языках. Работает полностью локально без облачных API и регистра
★ 110,614 · PythonВысокопроизводительный движок LLM
Высокопроизводительный и память‑эффективный движок для инференса и обслуживания больших языковых моделей.
★ 79,783 · PythonSGLang: Фреймворк LLM
SGLang — это высокопроизводительный фреймворк для обслуживания больших языковых и мультимодальных моделей.
★ 27,854 · PythonLMCache: Ускорение LLM
Самый быстрый слой кэширования KV для больших языковых моделей, повышающий производительность и снижающий задержки.
★ 8,292 · PythonGPU менеджер кластера
Управление GPU-кластерами с автоматической настройкой и оркестрацией движков инференса (vLLM, SGLang) для высокопроизводительного развёртывания моделей ИИ.
★ 5,041 · PythonNVIDIA AGENT SKILLS
Набор навыков для агентов кодинга, позволяющий запускать физический AI, робототехнику, симуляции, CUDA и RAG в Claude Code и Codex.
★ 4,002 · PythonОПТИМИЗАЦИЯ АЛГОРИТМОВ В CUDA
Гайд, как оптимизировать алгоритмы на CUDA для максимальной производительности. ⭐️ 3091 звезда
★ 3,353 · CudaPROJECT MAYA: ЛОКАЛЬНЫЙ ЗАПУСК LLM
Project Maya позволяет запускать GLM-5.3-Flash (321B MoE) локально на одном или до 16 GPU, поддерживая NVIDIA и AMD под Linux и Windows. В комплекте — движок, сервер, даш
★ 2,898 · C++RAMALAMA ЛЕГКИЙ ЗАПУСК AI
RamaLama — открытый инструмент на Python, который позволяет быстро запускать любые AI‑модели в контейнерах и использовать их для инференса в продакшене.
★ 2,872 · PythonHyperQwen: Qwen на потребительских GPU
Проект оптимизирует запуск больших моделей Qwen на доступных GPU с помощью vLLM патчей и реквантизации. Достигает 127 ток/с на 24 ГБ.
★ 2,713 · PythonЗАПУСКАЙ LLM ЛОКАЛЬНО В NODE.JS
Запускайте AI-модели прямо на своём компьютере через node.js. Принудительная валидация JSON-схемы прямо на уровне генерации.
★ 2,205 · TypeScriptLucebox Hub
Высокоскоростной сервер для локального запуска LLM на потребительском оборудовании. На С++ для максимальной производительности.
★ 2,167 · C++ZERO-TO-SGLANG: ОБУЧЕНИЕ LLM ИНФЕРЕНСУ
Курс от Datawhale и SGLang教你 с нуля понять инференс LLM, собрать мини‑версию SGLang и изучить исходный код, чтобы оформить первый PR. Доступно на английском и китайском.
★ 2,136 · PythonSGLANG-OMNI: ОМНИ-СЕРВИС ДЛЯ ИИ
SGLang-Omni обеспечивает высокопроизводительный запуск моделей TTS, ASR и речевых omni-моделей на Python.
★ 1,791 · PythonBETA9 - МОЛНЕНОСНЫЙ GPU ВЫВОД
Ultrafast serverless GPU inference with sandboxes and background jobs, written in Go for instant scaling.
★ 1,664 · GoUCCL: GPU СВЯЗЬ НА МАКСИМУМЕ
Быстрая библиотека для эффективного обмена данными между GPU: коллективные операции, P2P и ускорение инференса.
★ 1,586 · C++🔥 ДАШБОРД ДЛЯ NVIDIA GPU В РЕАЛЬНОМ ВРЕМЕНИ
GPU-hot — веб-дэшборд для мониторинга NVIDIA GPU с показом температуры, загрузки и памяти в реальном времени. Уже под 1500 звёзд на GitHub! 🌟
★ 1,543 · JavaScripttt-metal - МЕТАЛЛИЧЕСКАЯ БИБЛИОТЕКА ОПЕРАЦИЙ
Библиотека TT-NN операторов и низкоуровневая модель программирования ядер TT-Metalium для ускорения AI‑ workloads на собственном оборудовании.
★ 1,505 · C++TINY VLLM: СОБЕРИ СВОЙ LLM
Мини‑версия vLLM на C++ и CUDA для быстрого вывода больших языковых моделей. Позволяет создавать собственный высокопроизводительный движок inference.
★ 1,194 · C++МОДЕЛИ БОЛЬШЕ VRAM НА SSD
inferssd запускает MoE-модели, превышающие RAM и VRAM, стримя экспертов с SSD. Построен на llama.cpp, поддерживает GGUF, CUDA и Apple Silicon. 288 звёзд на GitHub.
★ 1,108 · C++RAFT - УСКОРЯЕМ ML НА CUDA
Библиотека RAFT предоставляет CUDA‑ускоренные алгоритмы машинного обучения и поиска информации, упрощая создание высокопроизводительных приложений.
★ 1,054 · CudaЗАПУСТИ БОЛЬШИЕ LLM ЛОКАЛЬНО
PolyStrata позволяет запускать Qwen3.8-Flash, GLM 5.3 Flash, DeepSeek V4 и другие модели на своем ПК. Установка за один клик на Windows и Linux с поддержкой OpenAI/Anthro
★ 1,037 · C++INFERENCEX – БЕНЧМАРК ИНФЕРЕНСЕ
Open‑source бенчмарк непрерывного инференса для Qwen3.5, DeepSeek, GPTOSS и новых ускорителей.
★ 1,016 · PythonCUVS - УСКОРЕННЫЙ ПОИСК ВЕКТОРОВ
cuvs — библиотека для быстрого векторного поиска и кластеризации на GPU, использующая CUDA для максимальной производительности.
★ 897 · CudaГлубокое обучение от основ
Образовательный фреймворк для понимания ML изнутри: реализация нейросетей, CUDA-ядер и RL-алгоритмов с нуля без готовых библиотек.
★ 842 · PythonSURROGATE — МОЩНЫЙ FINE-TUNING НА C++
Обучение и тонкая настройка моделей на скорости света. 796 звёзд на GitHub.
★ 796 · C++PEGAINFER: РАСТ + CUDA ИНФЕР
Движок LLM на чистом Rust с CUDA‑ускорением, совместимый с OpenAI API, запускает Qwen3 и Kimi‑K2 без PyTorch.
★ 742 · RustЛОКАЛЬНАЯ AI ГЕНЕРАЦИЯ АУДИО
audio-studio-mcp запускает Stable Audio 3 на Apple Silicon через MLX и на NVIDIA GPU через PyTorch. Генерирует фоновую музыку и звуковые эффекты для Claude Code и любых M
★ 669 · PythonLOOPY — GENERATOR ДЛЯ CPU & GPU
Loopy автоматически генерирует массивный код для процессоров и видеокарт на Python. 631 звезда на GitHub.
★ 640 · PythonATORCH: ПЯТОНСКИЙ PYTORCH
Библиотека attorch предлагает подмножество модулей нейронных сетей PyTorch, реализованное на Python с использованием Triton от OpenAI для ускорения вычислений.
★ 607 · PythonАМАДЕУС: ИИ-АГЕНТ ДЛЯ РАБОЧЕГО СТОЛА
Amadeus — это реального времени мультимедиа агент для рабочего стола, построенный на Python и использующий CUDA, Electron и GPT‑SoVITS. Проект движется к постоянному AI‑и
★ 554 · PythonЗАПУСК DEEPSEEK-V4.1 552B НА ОДНОМ ПК
Xolotl — движок для запуска крупных MoE-моделей (DeepSeek-V4.1-Flash 552B, GLM-5.3-Flash, Qwen3.8, LFM3-Omni) на одном ПК с RTX 4090. Обеспечивает 33 ток/с на агентских з
★ 534 · C++FLIDE: МГНОВЕННЫЙ ИНФЕРЕНС РЕШЕНИЙ
Flide — движок вывода для моделей принятия решений с поддержкой CUDA. Обеспечивает детерминированный инференс Gemma и других моделей за микросекунды. Идеален для AI-агент
★ 501 · PythonYZMA: ЛОКАЛЬНЫЙ LLM В GO
Интеграция llama.cpp в Go-приложения для локального инференса с аппаратным ускорением. 496 звёзд на GitHub.
★ 496 · GoЭКСПЕРИМЕНТАЛЬНАЯ БИБЛИОТЕКА ИНФЕРЕНСА
resin — экспериментальная Python-библиотека для создания движков инференса LLM. Поддерживает CUDA, GPU-ускорение и работу с моделями вроде DeepSeek и GPT-OSS. Проект на р
★ 432 · PythonDS4 НА SPARK: УСКОРЕНИЕ 3X
Однокомандная установка fork ds4 на NVIDIA DGX Spark с ~3‑кратным ускорением prefill и ~1.5‑кратным decode.
★ 415 · ShellLLAMAMPERE: УСКОРЕНИЕ LLM НА RTX 3090
Форк llama.cpp с оптимизацией под Ampere GPU. Даёт 110+ токенов/с на Qwen 3.8 при 100K контексте. Работает на 12 ГБ VRAM с 200K+ контекстом.
★ 380 · C++УСКОРЬТЕ LLM С КЕШЕМ
Проект unified-cache-management позволяет сохранять и переиспользовать KV Cache для ускорения работы больших языковых моделей.
★ 356 · PythonНЕ ОЛЛАМА — мнение не придерживаюсь
Auto-tuned launcher для GGUF моделей на llama.cpp — сервер с поддержкой нескольких GPU, настройкой под железо и восстановлением после крашей. Звёздочек: 226.
★ 284 · GoДвижок инференса для кибербезопасности
Высокопроизводительный движок инференса на Rust с безопасной работой с памятью для задач кибербезопасности.
★ 240 · RustPULSAR — УЛЬТРАБЫСТРЫЙ ИНФЕРЕНС MOE
Pulsar — SSD‑стриминговый движок для гигантских MoE‑моделей на Rust+CUDA.
★ 238 · RustPURE-RUST ДВИЖОК ДЛЯ QWEN GGUF
RustingStrata — чисто на Rust движок вывода для Qwen GGUF (Qwen3–3.8, MoE до 770B+). Поддерживает CUDA/Vulkan, гибрид CPU+GPU, MTP спекулятивное декодирование. До 1.7x ll
★ 231 · RustAUTOSHORTS AI КЛИПЫ ИГРОВОЙ
Автоматически создаёт вертикальные короткие клипы из длинных игровых записей, анализируя сцены ИИ. GPU‑ускоренный рендер и опциональные AI‑озвучки делают готовые к вирусу
★ 207 · PythonGLYD: LOSSLESS AI COMPRESSION
Glyd снижает GPU-память на 33% без потери данных, обеспечивая бит-в-бит идентичность. Проект написан на Rust и поддерживает CUDA, C‑ABI и CLI для удобного бенчмарка.
★ 200 · RustDVLT на CUDA без зависимостей
Проект переносит NVIDIA DVLT на чистый CUDA/C++, позволяя подавать изображения и получать 3D точечное облако вместе с позициями камеры. Всё упаковано в один быстрый 5‑МБ
★ 31 · CudaMEMRA - ИИ УСКОРИТЕЛЬ ДЛЯ RTX
Memra — это реализация inference LLM с нуля, оптимизированная под архитектуры RTX 5090 (sm_120a) и H100 (sm_90a) на Rust.
★ 6 · RustНовые проекты по теме — в Telegram
Telegram →