R_REDDYX.XYZ

GPU: open-source проекты на GitHub

45 репозиториев по теме GPU, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.

// СМЕЖНЫЕ ТЕМЫ

LLM 2064Inference 88Cuda 46AI Agents 1303Machine Learning 188Pytorch 91LLM Inference 76Self Hosted 348Deepseek 223Nvidia 23Local LLM 102Vllm 62Ollama 237LLM Serving 23
deepspeedai/DeepSpeed

DeepSpeed: библиотека оптимизации обучения

DeepSpeed — библиотека оптимизации deep learning, обеспечивающая эффективное распределенное обучение и инференс. Поддерживает технологии ZeRO, MoE и параллелизм для обуче

★ 43,332 · Python
bojieli/ai-infra-book

AI Infra: Книга по LLM

Открытая книга о量化 анализе и системном проектировании LLM inference и training, включающая полный текст, PDF и инструменты расчётов.

★ 7,748 · Python
deepflowio/deepflow

DEEPFLOW: eBPF ТРЕЙСИНГ И ПРОФИЛИНГ

Deepflow — проект на Go для распределённого трассирования и профилинга с помощью eBPF. Позволяет быстро находить узкие места в микросервисах.

★ 4,325 · Go
lemonade-sdk/lemonade

Lemonade SDK

Lemonade помогает пользователям запускать локальные AI-приложения, оптимизируя работу LLM на их GPU и NPU. Присоединяйтесь к нашему Discord!

★ 4,059 · C++
llm-d/llm-d

llm-d/llm-d

Achieve state of the art inference performance with modern accelerators on Kubernetes

★ 3,247 · Shell
thu-pacman/chitu

CHITU: УСКОРЯЕМ LLM В PYTHON

High‑performance framework для быстрого инференса больших языковых моделей на Python. Обеспечивает гибкость, эффективность и простоту развертывания.

★ 3,123 · Python
shinyobjectz/raea

AI ГЕНЕРИРУЕТ 3D И ВИДЕО НА ТВОЕМ GPU

Raea — движок для рендеринга видео, 3D и игр через AI-агентов. Пишешь задачи на React/TypeScript, считает твой GPU. На Rust + Bevy.

★ 2,457 · Rust
kubeflow/trainer

TRAINER: РАСПРЕДЕЛЁННОЕ ОБУЧЕНИЕ

Проект trainer позволяет распределённо обучать модели ИИ и выполнять fine‑tuning LLM в Kubernetes, написан на Go.

★ 2,284 · Go
withcatai/node-llama-cpp

ЗАПУСКАЙ LLM ЛОКАЛЬНО В NODE.JS

Запускайте AI-модели прямо на своём компьютере через node.js. Принудительная валидация JSON-схемы прямо на уровне генерации.

★ 2,205 · TypeScript
beam-cloud/beta9

BETA9 - МОЛНЕНОСНЫЙ GPU ВЫВОД

Ultrafast serverless GPU inference with sandboxes and background jobs, written in Go for instant scaling.

★ 1,664 · Go
uccl-project/uccl

UCCL: GPU СВЯЗЬ НА МАКСИМУМЕ

Быстрая библиотека для эффективного обмена данными между GPU: коллективные операции, P2P и ускорение инференса.

★ 1,586 · C++
autonomous-ai/autonomous-computer

СОБЕРИ СВОЙ AI КОМПЬЮТЕР

Проект помогает собрать собственный персональный ИИ-компьютер с открытым исходным кодом и поддержкой автономных агентов.

★ 1,577
voyager-so/vork

Headless 3D движок для AI-агентов

Vork — headless 3D и VFX движок на Rust для управления AI-агентами. Позволяет рендерить сцены, применять эффекты и управлять окружением без GUI.

★ 1,565 · Rust
psalias2006/gpu-hot

🔥 ДАШБОРД ДЛЯ NVIDIA GPU В РЕАЛЬНОМ ВРЕМЕНИ

GPU-hot — веб-дэшборд для мониторинга NVIDIA GPU с показом температуры, загрузки и памяти в реальном времени. Уже под 1500 звёзд на GitHub! 🌟

★ 1,543 · JavaScript
tenstorrent/tt-metal

tt-metal - МЕТАЛЛИЧЕСКАЯ БИБЛИОТЕКА ОПЕРАЦИЙ

Библиотека TT-NN операторов и низкоуровневая модель программирования ядер TT-Metalium для ускорения AI‑ workloads на собственном оборудовании.

★ 1,505 · C++
l0ng-ai/tty7

TTY7: ТЕРМИНАЛ БУДУЩЕГО В RUST

Терминальная рабочая среда на Rust с GPU‑рендером, постоянными сессиями, SSH и интеграцией AI‑агентов для кодирования.

★ 1,501 · Rust
eagle-hq/EAGLE-4

EAGLE-4: Ускоренный вывод LLM

Официальная реализация EAGLE-4 — метода спекулятивного декодирования для ускорения генерации больших языковых моделей без потери качества.

★ 1,287 · Python
NVIDIA/raft

RAFT - УСКОРЯЕМ ML НА CUDA

Библиотека RAFT предоставляет CUDA‑ускоренные алгоритмы машинного обучения и поиска информации, упрощая создание высокопроизводительных приложений.

★ 1,054 · Cuda
Xiangyue-Zhang/auto-deep-researcher-24x7

AI-АГЕНТ 24/7 ДЛЯ ДЛИТЕЛЬНЫХ ЭКСПЕРИМЕНТОВ

Автономный ИИ‑агент проводит ваши глубокие эксперименты круглосуточно, экономя ресурсы и память. Архитектура Leader‑Worker обеспечивает стабильную работу без затрат.

★ 1,035 · Python
kennss/SiliconScope

SiliconScope — Мониторинг Apple Silicon

Нативный монитор системы Apple Silicon на SwiftUI без sudo: отслеживание ANE, Media Engine и пропускной способности памяти.

★ 1,024 · Swift
Andyyyy64/whichllm

Какую локальную LLM выбрать?

Найдите локальную модель с лучшей производительностью на вашем оборудовании по реальным бенчмаркам, а не по количеству параметров. Одна команда — мгновенный запуск.

★ 947 · Python
mosecorg/mosec

MOSEC - МАКСИМАЛЬНАЯ ПРОИЗВОДИТЕЛЬНОСТЬ ML

Быстрый фреймворк для сервиса ML моделей с динамическим батчингом и CPU/GPU пайплайнами.

★ 904 · Python
NVIDIA/cuvs

CUVS - УСКОРЕННЫЙ ПОИСК ВЕКТОРОВ

cuvs — библиотека для быстрого векторного поиска и кластеризации на GPU, использующая CUDA для максимальной производительности.

★ 897 · Cuda
pegainfer-project/pegainfer

PEGAINFER: РАСТ + CUDA ИНФЕР

Движок LLM на чистом Rust с CUDA‑ускорением, совместимый с OpenAI API, запускает Qwen3 и Kimi‑K2 без PyTorch.

★ 742 · Rust
devitocodes/devito

DEVITO — ВЫЧИСЛЕНИЯ НА СТЕРОИДАХ

DSL и компилятор для автоматизированных конечно-разностных вычислений и стентальных операций на Python.

★ 719 · Python
jmerelnyc/Talos

Клиент воркера Talos

GPU‑воркер клиент для сети Talos. Связывается с вашим аккаунтом, принимает задачи инференса открытых моделей через WebSocket и сообщает о времени работы для начисления во

★ 629 · Python
peters/horizon

Горизонт — GPU-терминал с бесконечным холстом

GPU-ускоренный терминал для размещения сессий на бесконечном холсте с интуитивным управлением.

★ 607 · Rust
0xS4N4TG/kinetograph

БЫСТРЕЙШИЙ ВИДЕО-ДВИЖОК ДЛЯ АГЕНТОВ

Kinetograph — программный видеодвижок на TypeScript для AI-агентов. Использует GPU и FFmpeg для рендеринга за секунды. Поддерживает MCP и концепцию Hyperframes.

★ 520 · TypeScript
david-xinyuwei/david-share

AI АГЕНТЫ НА AZURE И GPU

Репозиторий с кодом, бенчмарками и гайдами по AI-агентам и Deep Learning. Развёртывание на Microsoft Foundry и Azure, фаин-тюнинг, оптимизация инференса и GPU-тесты на NV

★ 451 · Jupyter Notebook
ekzhang/resin

ЭКСПЕРИМЕНТАЛЬНАЯ БИБЛИОТЕКА ИНФЕРЕНСА

resin — экспериментальная Python-библиотека для создания движков инференса LLM. Поддерживает CUDA, GPU-ускорение и работу с моделями вроде DeepSeek и GPT-OSS. Проект на р

★ 432 · Python
starling-build/starling

Starling: новое Linux DE

Starling — это новый рабочий стол для Linux, построенный на Swift, с собственным композитором и фреймворком для портирования Flutter‑приложений. Включает быстрый shell и

★ 417 · Swift
zolotukhin/zinc

ZINC - ЛОКАЛЬНЫЙ LLM НА GPU

Zinc — движок инференса LLM на Zig, работающий на AMD GPU и Apple Silicon без внешних зависимостей.

★ 395 · Zig
openlake-project/openlake

OpenLake: хранилище для GPU

Сверхэффективное хранилище для рабочих нагрузок GPU. Подавайте данные с молниеносной скоростью.

★ 385 · Rust
ModelEngine-Group/unified-cache-management

УСКОРЬТЕ LLM С КЕШЕМ

Проект unified-cache-management позволяет сохранять и переиспользовать KV Cache для ускорения работы больших языковых моделей.

★ 356 · Python
DataTalksClub/production-ai-agents-for-media-generation

ПРОДАКШН AI-АГЕНТЫ: ГЕНЕРАЦИЯ МЕДИА

Курс учит создавать production-агентов для генерации изображений, видео и аудио на serverless GPU. 254 звезды на GitHub. Бесплатно, подавайтесь сейчас.

★ 349
robzilla1738/harness-terminal

GPU-ТЕРМИНАЛ ДЛЯ КОДИРОВАНИЯ

Native macOS терминал с GPU‑рендерингом, долговременными сессиями и поддержкой coding‑agent workflows. Позволяет подключаться по SSH, работает как демон и CLI‑утилита под

★ 309 · Swift
T-Crypt/berth

GPU ПО ОЧЕРЕДИ БЕЗ КРАШЕЙ

Berth арендует видеокарту движкам чата, изображений и голоса по очереди. Два процесса никогда не загрузятся вместе и не уронят друг друга. Один бинарник на Go, зависимост

★ 297 · Go
mohitsoni48/TurboLLM

TURBO LLM: ОФФЛАЙН С ИИ

Запускай любую локальную LLM, автонастройка под GPU, веб‑интерфейс и API совместимый с OpenAI/Anthropic.

★ 296 · TypeScript
beehive-lab/jitllm

JITLLM: ВЫСОКОПРОИЗВОДИТЕЛЬНЫЙ LLM НА JVM

JITLLM — Java‑фреймворк для высокопроизводительного инференса и serving LLM на JVM. Поддерживает ускорение GPU, форматы GGUF иquantized модели, а также интеграцию с DeepS

★ 295 · Java
AMD-AGI/Hyperloom

HYPERLOOM АВТООПТИМИЗАЦИЯ LLM НА AMD

Hyperloom — агентная система, которая автоматически оптимизирует рабочие нагрузки больших языковых моделей на GPU AMD. Она подбирает ядра и параметры для максимальной про

★ 271 · Python
defilantech/LLMKube

LLMKUBE: LLM В KUBERNETES

LLMKube - оператор Kubernetes для LLM‑инференса на смешанном GPU‑флоте: NVIDIA CUDA, AMD Vulkan, Apple Silicon Metal. Поддерживает llama.cpp, vLLM, TGI, mlx-server, мульт

★ 266 · Go
SikamikanikoBG/homelab-monitor

МОНИТОРИНГ ДОМАШНЕЙ ЛАБОРАТОРИИ

Плагин‑под‑ключ дашборд для homelab в одном контейнере: мониторинг GPU, VRAM локального ИИ, Docker, systemd и состояния хоста. Встроенный read‑only MCP‑сервер даёт ИИ‑аге

★ 236 · Python
uncSoft/anubis-oss

АНУБИС: БЕНЧМАРК LLM НА APPLE SILICON

anubis-oss — Swift‑утилита для локального запуска и бенчмаркинга LLM на Apple Silicon. Она измеряет скорость и точность инференса на GPU, сравнивая результаты с CPU‑базой

★ 217 · Swift
surya-koritala/Glyd

GLYD: LOSSLESS AI COMPRESSION

Glyd снижает GPU-память на 33% без потери данных, обеспечивая бит-в-бит идентичность. Проект написан на Rust и поддерживает CUDA, C‑ABI и CLI для удобного бенчмарка.

★ 200 · Rust
DaoyuanLi2816/can-i-finetune-this

Можно ли дообучить

Инструмент для проверки, поместится ли модель Hugging Face в память вашей GPU и возможно ли её дообучение локально.

★ 31 · Python

Новые проекты по теме — в Telegram

Telegram →
GPU — 45 open-source проектов на GitHub | REDDYX AI