GPU: open-source проекты на GitHub
45 репозиториев по теме GPU, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.
// СМЕЖНЫЕ ТЕМЫ
DeepSpeed: библиотека оптимизации обучения
DeepSpeed — библиотека оптимизации deep learning, обеспечивающая эффективное распределенное обучение и инференс. Поддерживает технологии ZeRO, MoE и параллелизм для обуче
★ 43,332 · PythonAI Infra: Книга по LLM
Открытая книга о量化 анализе и системном проектировании LLM inference и training, включающая полный текст, PDF и инструменты расчётов.
★ 7,748 · PythonDEEPFLOW: eBPF ТРЕЙСИНГ И ПРОФИЛИНГ
Deepflow — проект на Go для распределённого трассирования и профилинга с помощью eBPF. Позволяет быстро находить узкие места в микросервисах.
★ 4,325 · GoLemonade SDK
Lemonade помогает пользователям запускать локальные AI-приложения, оптимизируя работу LLM на их GPU и NPU. Присоединяйтесь к нашему Discord!
★ 4,059 · C++llm-d/llm-d
Achieve state of the art inference performance with modern accelerators on Kubernetes
★ 3,247 · ShellCHITU: УСКОРЯЕМ LLM В PYTHON
High‑performance framework для быстрого инференса больших языковых моделей на Python. Обеспечивает гибкость, эффективность и простоту развертывания.
★ 3,123 · PythonAI ГЕНЕРИРУЕТ 3D И ВИДЕО НА ТВОЕМ GPU
Raea — движок для рендеринга видео, 3D и игр через AI-агентов. Пишешь задачи на React/TypeScript, считает твой GPU. На Rust + Bevy.
★ 2,457 · RustTRAINER: РАСПРЕДЕЛЁННОЕ ОБУЧЕНИЕ
Проект trainer позволяет распределённо обучать модели ИИ и выполнять fine‑tuning LLM в Kubernetes, написан на Go.
★ 2,284 · GoЗАПУСКАЙ LLM ЛОКАЛЬНО В NODE.JS
Запускайте AI-модели прямо на своём компьютере через node.js. Принудительная валидация JSON-схемы прямо на уровне генерации.
★ 2,205 · TypeScriptBETA9 - МОЛНЕНОСНЫЙ GPU ВЫВОД
Ultrafast serverless GPU inference with sandboxes and background jobs, written in Go for instant scaling.
★ 1,664 · GoUCCL: GPU СВЯЗЬ НА МАКСИМУМЕ
Быстрая библиотека для эффективного обмена данными между GPU: коллективные операции, P2P и ускорение инференса.
★ 1,586 · C++СОБЕРИ СВОЙ AI КОМПЬЮТЕР
Проект помогает собрать собственный персональный ИИ-компьютер с открытым исходным кодом и поддержкой автономных агентов.
★ 1,577Headless 3D движок для AI-агентов
Vork — headless 3D и VFX движок на Rust для управления AI-агентами. Позволяет рендерить сцены, применять эффекты и управлять окружением без GUI.
★ 1,565 · Rust🔥 ДАШБОРД ДЛЯ NVIDIA GPU В РЕАЛЬНОМ ВРЕМЕНИ
GPU-hot — веб-дэшборд для мониторинга NVIDIA GPU с показом температуры, загрузки и памяти в реальном времени. Уже под 1500 звёзд на GitHub! 🌟
★ 1,543 · JavaScripttt-metal - МЕТАЛЛИЧЕСКАЯ БИБЛИОТЕКА ОПЕРАЦИЙ
Библиотека TT-NN операторов и низкоуровневая модель программирования ядер TT-Metalium для ускорения AI‑ workloads на собственном оборудовании.
★ 1,505 · C++TTY7: ТЕРМИНАЛ БУДУЩЕГО В RUST
Терминальная рабочая среда на Rust с GPU‑рендером, постоянными сессиями, SSH и интеграцией AI‑агентов для кодирования.
★ 1,501 · RustEAGLE-4: Ускоренный вывод LLM
Официальная реализация EAGLE-4 — метода спекулятивного декодирования для ускорения генерации больших языковых моделей без потери качества.
★ 1,287 · PythonRAFT - УСКОРЯЕМ ML НА CUDA
Библиотека RAFT предоставляет CUDA‑ускоренные алгоритмы машинного обучения и поиска информации, упрощая создание высокопроизводительных приложений.
★ 1,054 · CudaAI-АГЕНТ 24/7 ДЛЯ ДЛИТЕЛЬНЫХ ЭКСПЕРИМЕНТОВ
Автономный ИИ‑агент проводит ваши глубокие эксперименты круглосуточно, экономя ресурсы и память. Архитектура Leader‑Worker обеспечивает стабильную работу без затрат.
★ 1,035 · PythonSiliconScope — Мониторинг Apple Silicon
Нативный монитор системы Apple Silicon на SwiftUI без sudo: отслеживание ANE, Media Engine и пропускной способности памяти.
★ 1,024 · SwiftКакую локальную LLM выбрать?
Найдите локальную модель с лучшей производительностью на вашем оборудовании по реальным бенчмаркам, а не по количеству параметров. Одна команда — мгновенный запуск.
★ 947 · PythonMOSEC - МАКСИМАЛЬНАЯ ПРОИЗВОДИТЕЛЬНОСТЬ ML
Быстрый фреймворк для сервиса ML моделей с динамическим батчингом и CPU/GPU пайплайнами.
★ 904 · PythonCUVS - УСКОРЕННЫЙ ПОИСК ВЕКТОРОВ
cuvs — библиотека для быстрого векторного поиска и кластеризации на GPU, использующая CUDA для максимальной производительности.
★ 897 · CudaPEGAINFER: РАСТ + CUDA ИНФЕР
Движок LLM на чистом Rust с CUDA‑ускорением, совместимый с OpenAI API, запускает Qwen3 и Kimi‑K2 без PyTorch.
★ 742 · RustDEVITO — ВЫЧИСЛЕНИЯ НА СТЕРОИДАХ
DSL и компилятор для автоматизированных конечно-разностных вычислений и стентальных операций на Python.
★ 719 · PythonКлиент воркера Talos
GPU‑воркер клиент для сети Talos. Связывается с вашим аккаунтом, принимает задачи инференса открытых моделей через WebSocket и сообщает о времени работы для начисления во
★ 629 · PythonГоризонт — GPU-терминал с бесконечным холстом
GPU-ускоренный терминал для размещения сессий на бесконечном холсте с интуитивным управлением.
★ 607 · RustБЫСТРЕЙШИЙ ВИДЕО-ДВИЖОК ДЛЯ АГЕНТОВ
Kinetograph — программный видеодвижок на TypeScript для AI-агентов. Использует GPU и FFmpeg для рендеринга за секунды. Поддерживает MCP и концепцию Hyperframes.
★ 520 · TypeScriptAI АГЕНТЫ НА AZURE И GPU
Репозиторий с кодом, бенчмарками и гайдами по AI-агентам и Deep Learning. Развёртывание на Microsoft Foundry и Azure, фаин-тюнинг, оптимизация инференса и GPU-тесты на NV
★ 451 · Jupyter NotebookЭКСПЕРИМЕНТАЛЬНАЯ БИБЛИОТЕКА ИНФЕРЕНСА
resin — экспериментальная Python-библиотека для создания движков инференса LLM. Поддерживает CUDA, GPU-ускорение и работу с моделями вроде DeepSeek и GPT-OSS. Проект на р
★ 432 · PythonStarling: новое Linux DE
Starling — это новый рабочий стол для Linux, построенный на Swift, с собственным композитором и фреймворком для портирования Flutter‑приложений. Включает быстрый shell и
★ 417 · SwiftZINC - ЛОКАЛЬНЫЙ LLM НА GPU
Zinc — движок инференса LLM на Zig, работающий на AMD GPU и Apple Silicon без внешних зависимостей.
★ 395 · ZigOpenLake: хранилище для GPU
Сверхэффективное хранилище для рабочих нагрузок GPU. Подавайте данные с молниеносной скоростью.
★ 385 · RustУСКОРЬТЕ LLM С КЕШЕМ
Проект unified-cache-management позволяет сохранять и переиспользовать KV Cache для ускорения работы больших языковых моделей.
★ 356 · PythonПРОДАКШН AI-АГЕНТЫ: ГЕНЕРАЦИЯ МЕДИА
Курс учит создавать production-агентов для генерации изображений, видео и аудио на serverless GPU. 254 звезды на GitHub. Бесплатно, подавайтесь сейчас.
★ 349GPU-ТЕРМИНАЛ ДЛЯ КОДИРОВАНИЯ
Native macOS терминал с GPU‑рендерингом, долговременными сессиями и поддержкой coding‑agent workflows. Позволяет подключаться по SSH, работает как демон и CLI‑утилита под
★ 309 · SwiftGPU ПО ОЧЕРЕДИ БЕЗ КРАШЕЙ
Berth арендует видеокарту движкам чата, изображений и голоса по очереди. Два процесса никогда не загрузятся вместе и не уронят друг друга. Один бинарник на Go, зависимост
★ 297 · GoTURBO LLM: ОФФЛАЙН С ИИ
Запускай любую локальную LLM, автонастройка под GPU, веб‑интерфейс и API совместимый с OpenAI/Anthropic.
★ 296 · TypeScriptJITLLM: ВЫСОКОПРОИЗВОДИТЕЛЬНЫЙ LLM НА JVM
JITLLM — Java‑фреймворк для высокопроизводительного инференса и serving LLM на JVM. Поддерживает ускорение GPU, форматы GGUF иquantized модели, а также интеграцию с DeepS
★ 295 · JavaHYPERLOOM АВТООПТИМИЗАЦИЯ LLM НА AMD
Hyperloom — агентная система, которая автоматически оптимизирует рабочие нагрузки больших языковых моделей на GPU AMD. Она подбирает ядра и параметры для максимальной про
★ 271 · PythonLLMKUBE: LLM В KUBERNETES
LLMKube - оператор Kubernetes для LLM‑инференса на смешанном GPU‑флоте: NVIDIA CUDA, AMD Vulkan, Apple Silicon Metal. Поддерживает llama.cpp, vLLM, TGI, mlx-server, мульт
★ 266 · GoМОНИТОРИНГ ДОМАШНЕЙ ЛАБОРАТОРИИ
Плагин‑под‑ключ дашборд для homelab в одном контейнере: мониторинг GPU, VRAM локального ИИ, Docker, systemd и состояния хоста. Встроенный read‑only MCP‑сервер даёт ИИ‑аге
★ 236 · PythonАНУБИС: БЕНЧМАРК LLM НА APPLE SILICON
anubis-oss — Swift‑утилита для локального запуска и бенчмаркинга LLM на Apple Silicon. Она измеряет скорость и точность инференса на GPU, сравнивая результаты с CPU‑базой
★ 217 · SwiftGLYD: LOSSLESS AI COMPRESSION
Glyd снижает GPU-память на 33% без потери данных, обеспечивая бит-в-бит идентичность. Проект написан на Rust и поддерживает CUDA, C‑ABI и CLI для удобного бенчмарка.
★ 200 · RustМожно ли дообучить
Инструмент для проверки, поместится ли модель Hugging Face в память вашей GPU и возможно ли её дообучение локально.
★ 31 · PythonНовые проекты по теме — в Telegram
Telegram →