R_REDDYX.XYZ

Gguf: open-source проекты на GitHub

45 репозиториев по теме Gguf, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.

// СМЕЖНЫЕ ТЕМЫ

LLM 2064Llama Cpp 49Local LLM 102Inference 88Cuda 46Ollama 237Apple Silicon 53Self Hosted 348Mlx 48Metal 31Mixture Of Experts 19Quantization 29Moe 23LLM Inference 76
AlexsJones/llmfit

LLM Fit — подбор моделей

Сотни моделей и провайдеров. Одна команда — чтобы найти, что запустится на вашем оборудовании.

★ 26,289 · Rust
MakazhanAlpamys/Soup

СУП: ОБУЧАЕМ LLM ЛЕГКО

Soup дообучает LLM из одного YAML, используя слой потоковой передачи — 8B модель на ноутбуке с 4 ГБ VRAM.

★ 10,552 · Python
AtomicBot-ai/atomic-agent

ATOMIC AGENT: ЛОКАЛЬНЫЙ ИИ

Локальный ИИ‑агент atomic-agent работает полностью на вашем устройстве, поддерживает длинный контекст и точный вызов инструментов.

★ 3,682 · TypeScript
off-grid-ai/OGAM

OGAM ОФЛАЙН AI ШВЕЙЦАРСКИЙ НОЖ

OGAM — чат, зрение, речь и генерация изображений офлайн на вашем устройстве без ключей и данных в сети.

★ 3,380 · TypeScript
Mobile-Artificial-Intelligence/maid

MAID: УПРАВЛЯЙ ИИ-МОДЕЛЯМИ

Бесплатный инструмент для работы с локальными и удалёнными LLM: llama.cpp, Anthropic, DeepSeek и др.

★ 2,776 · TypeScript
ddalcu/mlx-serve

НАТИВНЫЙ LLM СЕРВЕР НА МАК

Сервер LLM совместим с OpenAI+Anthropic, без Python. Включает MLX Core macOS: чат, агент и вызов инструментов.

★ 2,472 · Zig
heshengtao/comfyui_LLM_party

LLM АГЕНТ ФРЕЙМВОРК В COMFYUI

Framework объединяет LLM-агентов, Omost, GPT‑Sovits, ChatTTS и OCR в ComfyUI с поддержкой Feishu, Discord и всех популярных LLM.

★ 2,390 · Python
withcatai/node-llama-cpp

ЗАПУСКАЙ LLM ЛОКАЛЬНО В NODE.JS

Запускайте AI-модели прямо на своём компьютере через node.js. Принудительная валидация JSON-схемы прямо на уровне генерации.

★ 2,205 · TypeScript
AtomicBot-ai/Atomic-Chat

ЛОКАЛЬНЫЙ AI-АГЕНТ С ОТКРЫТЫМ ИСКОДНИКОМ

Atomic-Chat — приватный AI-движок для локального запуска LLM без интернета. Полностью offline на вашем компьютере. ⭐ 967 звёзд на GitHub.

★ 2,008 · TypeScript
sammcj/gollama

ГОЛЛАМА: УПРАВЛЯЙ OLLAMA МОДЕЛЯМИ

gollama — утилита на Go для управления моделями Ollama через простой CLI. Позволяет быстро список, загружать, удалять и обновлять модели без лишних команд. Поддерживает L

★ 1,847 · Go
StartLuxLabs/StartLux-Decision

STARTLUX‑DECISION: ИИ РЕШЕНИЙ

Открытые модели принятия решений от 0,8 B до 27 B дают откалиброванную вероятность каждого варианта за один проход и краткий размышления только при неуверенности. Поддерж

★ 1,745 · Python
synchopate/llama-modchip

ЗАПУСКАЕМ 284B LLM НА CPU БЕЗ GPU

llama-modchip запускает DeepSeek-V4-Flash 284B на чистом CPU 64GB RAM: 44.4 tok/s префилл, 9-14 tok/s генерация. 30B MoE модели до 111 tok/s. Контекст 256K, восстановлени

★ 1,234 · Python
wici-ai/inferssd

МОДЕЛИ БОЛЬШЕ VRAM НА SSD

inferssd запускает MoE-модели, превышающие RAM и VRAM, стримя экспертов с SSD. Построен на llama.cpp, поддерживает GGUF, CUDA и Apple Silicon. 288 звёзд на GitHub.

★ 1,108 · C++
simplexai-labs/PolyStrata

ЗАПУСТИ БОЛЬШИЕ LLM ЛОКАЛЬНО

PolyStrata позволяет запускать Qwen3.8-Flash, GLM 5.3 Flash, DeepSeek V4 и другие модели на своем ПК. Установка за один клик на Windows и Linux с поддержкой OpenAI/Anthro

★ 1,037 · C++
feder-cr/jev

JEVOS: БИНАРНЫЕ РЕШЕНИЯ НА НОУТБУКЕ

Jevos — открытая альтернатива Jev для решений да/нет. Работает полностью локально на CPU через FastAPI. Данные не покидают устройство.

★ 963 · Python
Andyyyy64/whichllm

Какую локальную LLM выбрать?

Найдите локальную модель с лучшей производительностью на вашем оборудовании по реальным бенчмаркам, а не по количеству параметров. Одна команда — мгновенный запуск.

★ 947 · Python
sgaofen/humanizer-local-model

ЛОКАЛЬНЫЙ ХУМАНАЙЗЕР AI‑ЧЕРНОВИКОВ

Проект перефразирует черновики, созданные ИИ, так чтобы они звучали как написанные человеком, сохраняя все факты. Работает полностью локально, без отправки данных в облак

★ 935 · Python
Valen-Team/Valen

МУЛЬТИМОДАЛЬНАЯ МОДЕЛЬ ПРИНЯТИЯ РЕШЕНИЙ

Valen-Decision — мультимодальная модель System One для принятия решений. Принимает текст, изображения и видео, возвращает вероятности по заданным кандидатам и координаты

★ 918 · Python
eastriverlee/LLM.swift

LLM.SWIFT - ЛОКАЛЬНЫЙ ДОСТУП К LLM

Простая библиотека для работы с большими языковыми моделями локально на всех платформах Apple.

★ 884 · C++
Helldez/BigMoeOnEdge

BIGMOEONEDGE - СУПЕР МОЭ НА ТЕЛЕФОНЕ

Проект позволяет запускать модели Mixture‑of‑Experts размером 284 B на устройстве с 12 ГБ ОЗУ, используя только CPU и llama.cpp без потери точности.

★ 855 · C++
prabanta-dev/janas

JANAS: БЫСТРЫЙ ИНФЕРЕНС LLM

janas запускает huge LLM (до 48 ГБ) на ноутбуке 32 ГБ, обгоняя llama.cpp в 8‑10 раз. На Qwen3-Next-80B даёт 37 ток/сек без draft и 62 ток/сек при чтении GGUF. Поддерживае

★ 712 · C
zhongkaifu/TensorSharp

TENSORSHARP - МОЩНЫЙ .NET LLM

Библиотека для быстрого запуска GGUF моделей на .NET с поддержкой GPU, консольного приложения, веб‑чата и API, совместимого с Ollama и OpenAI.

★ 679 · C#
vladimirrott/mojo-dllm

DISLLM ИНФЕРЕНС НА MOJO

Запускает диффузионные LLM (LLaDA, Dream) локально на CPU без GPU. Написан на Mojo с поддержкой GGUF-формата. 289 звёзд на GitHub.

★ 540 · Mojo
Indras-Mirror/Xolotl

ЗАПУСК DEEPSEEK-V4.1 552B НА ОДНОМ ПК

Xolotl — движок для запуска крупных MoE-моделей (DeepSeek-V4.1-Flash 552B, GLM-5.3-Flash, Qwen3.8, LFM3-Omni) на одном ПК с RTX 4090. Обеспечивает 33 ток/с на агентских з

★ 534 · C++
AudarAI/Audar-ASR-V1

Audar-ASR-V1: генеративный ASR

Проект представляет Arabic-first генеративную систему распознавания речи с моделями Flash и Turbo, занимающую первое место в лидерборде Open Universal Arabic ASR. Включае

★ 503 · Python
hybridgroup/yzma

YZMA: ЛОКАЛЬНЫЙ LLM В GO

Интеграция llama.cpp в Go-приложения для локального инференса с аппаратным ускорением. 496 звёзд на GitHub.

★ 496 · Go
lone-cloud/gerbil

GERBIL: ЛОКАЛЬНЫЕ LLM НА ВАШЕМ ПК

Десктопное приложение для запуска больших языковых моделей прямо на вашем компьютере. Без облака, без подписок — полный контроль над AI.

★ 482 · TypeScript
Entrpi/ds4-on-spark

DS4 НА SPARK: УСКОРЕНИЕ 3X

Однокомандная установка fork ds4 на NVIDIA DGX Spark с ~3‑кратным ускорением prefill и ~1.5‑кратным decode.

★ 415 · Shell
JakeATX/llamAmpere

LLAMAMPERE: УСКОРЕНИЕ LLM НА RTX 3090

Форк llama.cpp с оптимизацией под Ampere GPU. Даёт 110+ токенов/с на Qwen 3.8 при 100K контексте. Работает на 12 ГБ VRAM с 200K+ контекстом.

★ 380 · C++
hogeheer499-commits/strix-halo-guide

STRIX HALO LLM НАСТРОЙКА

Руководство по LLM на Ryzen AI MAX+ 395 и Radeon 8060S через Ollama, llama.cpp и ROCm. Достигаем 100 токен/с 30B Qwen и 140 токен/с CHADROCK MTP.

★ 373 · Python
Epistates/pmetal

PMETAL: УСКОРЕНИЕ LLM НА APPLE SILICON

PMetal — фреймворк на Rust для высокопроизводительного запуска LLM на Apple Silicon. Поддерживает локальный инференс fine‑tuning LoRA/QLoRA сервинг квантизацию и ускорени

★ 333 · Rust
abdulmominsakib/localmind

LOCALMIND: ОФЛАЙН ЧАТ С LLM

Localmind — мобильное приложение на Dart/Flutter для работы с локальными LLM и серверами ИИ без утечки данных. Обеспечивает быстрый чат, поддержку моделей Gemma и совмест

★ 326 · Dart
llamastash/llamastash

ЛЛАМАСТЭШ ТЕРМИНАЛЬНЫЙ LLM МЕНЕДЖЕР

llamastash — терминальный менеджер локальных LLM без накладных расходов. Запускает, контролирует и направляет модели GGUF через единый OpenAI‑совместимый endpoint.

★ 299 · Rust
mohitsoni48/TurboLLM

TURBO LLM: ОФФЛАЙН С ИИ

Запускай любую локальную LLM, автонастройка под GPU, веб‑интерфейс и API совместимый с OpenAI/Anthropic.

★ 296 · TypeScript
beehive-lab/jitllm

JITLLM: ВЫСОКОПРОИЗВОДИТЕЛЬНЫЙ LLM НА JVM

JITLLM — Java‑фреймворк для высокопроизводительного инференса и serving LLM на JVM. Поддерживает ускорение GPU, форматы GGUF иquantized модели, а также интеграцию с DeepS

★ 295 · Java
raketenkater/ggrun

НЕ ОЛЛАМА — мнение не придерживаюсь

Auto-tuned launcher для GGUF моделей на llama.cpp — сервер с поддержкой нескольких GPU, настройкой под железо и восстановлением после крашей. Звёздочек: 226.

★ 284 · Go
mgonzs13/llama_ros

LLAMA_ROS ROS 2 LLM

Проект объединяет llama.cpp и llava.cpp с ROS 2, позволяя использовать GGUF-модели для робототехники в реальном времени.

★ 268 · C++
defilantech/LLMKube

LLMKUBE: LLM В KUBERNETES

LLMKube - оператор Kubernetes для LLM‑инференса на смешанном GPU‑флоте: NVIDIA CUDA, AMD Vulkan, Apple Silicon Metal. Поддерживает llama.cpp, vLLM, TGI, mlx-server, мульт

★ 266 · Go
giannisanni/pulsar

PULSAR — УЛЬТРАБЫСТРЫЙ ИНФЕРЕНС MOE

Pulsar — SSD‑стриминговый движок для гигантских MoE‑моделей на Rust+CUDA.

★ 238 · Rust
jjang-ai/jangq

JANGQ — КВАНТОВАНИЕ ДЛЯ APPLE SILICON

JANG — адаптивное смешанно‑точное квантование моделей GGUF для MLX на Apple Silicon. Требует использование runtime JANG_Q для максимальной производительности.

★ 233 · Python
RustingStudio/RustingStrata

PURE-RUST ДВИЖОК ДЛЯ QWEN GGUF

RustingStrata — чисто на Rust движок вывода для Qwen GGUF (Qwen3–3.8, MoE до 770B+). Поддерживает CUDA/Vulkan, гибрид CPU+GPU, MTP спекулятивное декодирование. До 1.7x ll

★ 231 · Rust
timtoole02/Camelid

CAMELID: ЛОКАЛЬНЫЙ ИИ НА RUST

Camelid — бэкенд для локального вывода на Rust, совместимый с моделями через доказательную совместимость. Поддерживает Apple Silicon, GGUF, Llama и другие LLM, работает п

★ 221 · Rust
Eric-Terminal/ETOS-LLM-Studio

ETOS-LLM-STUDIO: AI-ПОМОЩНИК НА iOS

Нативный LLM‑клиент для iOS и Apple Watch: запускай локальные GGUF‑модели через llama.cpp либо подключайся к OpenAI, Claude, Gemini. Есть локальный RAG, MCP‑инструменты,

★ 219 · Swift
hadihonarvar/flock

Самостоятельный шлюз LLM

Один бинарник Go превращает ваши Mac и Linux‑машины в приватный кластер инференса с мульти‑машинным роутингом, шардингом через llama.cpp‑RPC и поддержкой API OpenAI и Ant

★ 38 · Go
avifenesh/memra

MEMRA - ИИ УСКОРИТЕЛЬ ДЛЯ RTX

Memra — это реализация inference LLM с нуля, оптимизированная под архитектуры RTX 5090 (sm_120a) и H100 (sm_90a) на Rust.

★ 6 · Rust

Новые проекты по теме — в Telegram

Telegram →
Gguf — 45 open-source проектов на GitHub | REDDYX AI