Gguf: open-source проекты на GitHub
45 репозиториев по теме Gguf, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.
// СМЕЖНЫЕ ТЕМЫ
LLM Fit — подбор моделей
Сотни моделей и провайдеров. Одна команда — чтобы найти, что запустится на вашем оборудовании.
★ 26,289 · RustСУП: ОБУЧАЕМ LLM ЛЕГКО
Soup дообучает LLM из одного YAML, используя слой потоковой передачи — 8B модель на ноутбуке с 4 ГБ VRAM.
★ 10,552 · PythonATOMIC AGENT: ЛОКАЛЬНЫЙ ИИ
Локальный ИИ‑агент atomic-agent работает полностью на вашем устройстве, поддерживает длинный контекст и точный вызов инструментов.
★ 3,682 · TypeScriptOGAM ОФЛАЙН AI ШВЕЙЦАРСКИЙ НОЖ
OGAM — чат, зрение, речь и генерация изображений офлайн на вашем устройстве без ключей и данных в сети.
★ 3,380 · TypeScriptMAID: УПРАВЛЯЙ ИИ-МОДЕЛЯМИ
Бесплатный инструмент для работы с локальными и удалёнными LLM: llama.cpp, Anthropic, DeepSeek и др.
★ 2,776 · TypeScriptНАТИВНЫЙ LLM СЕРВЕР НА МАК
Сервер LLM совместим с OpenAI+Anthropic, без Python. Включает MLX Core macOS: чат, агент и вызов инструментов.
★ 2,472 · ZigLLM АГЕНТ ФРЕЙМВОРК В COMFYUI
Framework объединяет LLM-агентов, Omost, GPT‑Sovits, ChatTTS и OCR в ComfyUI с поддержкой Feishu, Discord и всех популярных LLM.
★ 2,390 · PythonЗАПУСКАЙ LLM ЛОКАЛЬНО В NODE.JS
Запускайте AI-модели прямо на своём компьютере через node.js. Принудительная валидация JSON-схемы прямо на уровне генерации.
★ 2,205 · TypeScriptЛОКАЛЬНЫЙ AI-АГЕНТ С ОТКРЫТЫМ ИСКОДНИКОМ
Atomic-Chat — приватный AI-движок для локального запуска LLM без интернета. Полностью offline на вашем компьютере. ⭐ 967 звёзд на GitHub.
★ 2,008 · TypeScriptГОЛЛАМА: УПРАВЛЯЙ OLLAMA МОДЕЛЯМИ
gollama — утилита на Go для управления моделями Ollama через простой CLI. Позволяет быстро список, загружать, удалять и обновлять модели без лишних команд. Поддерживает L
★ 1,847 · GoSTARTLUX‑DECISION: ИИ РЕШЕНИЙ
Открытые модели принятия решений от 0,8 B до 27 B дают откалиброванную вероятность каждого варианта за один проход и краткий размышления только при неуверенности. Поддерж
★ 1,745 · PythonЗАПУСКАЕМ 284B LLM НА CPU БЕЗ GPU
llama-modchip запускает DeepSeek-V4-Flash 284B на чистом CPU 64GB RAM: 44.4 tok/s префилл, 9-14 tok/s генерация. 30B MoE модели до 111 tok/s. Контекст 256K, восстановлени
★ 1,234 · PythonМОДЕЛИ БОЛЬШЕ VRAM НА SSD
inferssd запускает MoE-модели, превышающие RAM и VRAM, стримя экспертов с SSD. Построен на llama.cpp, поддерживает GGUF, CUDA и Apple Silicon. 288 звёзд на GitHub.
★ 1,108 · C++ЗАПУСТИ БОЛЬШИЕ LLM ЛОКАЛЬНО
PolyStrata позволяет запускать Qwen3.8-Flash, GLM 5.3 Flash, DeepSeek V4 и другие модели на своем ПК. Установка за один клик на Windows и Linux с поддержкой OpenAI/Anthro
★ 1,037 · C++JEVOS: БИНАРНЫЕ РЕШЕНИЯ НА НОУТБУКЕ
Jevos — открытая альтернатива Jev для решений да/нет. Работает полностью локально на CPU через FastAPI. Данные не покидают устройство.
★ 963 · PythonКакую локальную LLM выбрать?
Найдите локальную модель с лучшей производительностью на вашем оборудовании по реальным бенчмаркам, а не по количеству параметров. Одна команда — мгновенный запуск.
★ 947 · PythonЛОКАЛЬНЫЙ ХУМАНАЙЗЕР AI‑ЧЕРНОВИКОВ
Проект перефразирует черновики, созданные ИИ, так чтобы они звучали как написанные человеком, сохраняя все факты. Работает полностью локально, без отправки данных в облак
★ 935 · PythonМУЛЬТИМОДАЛЬНАЯ МОДЕЛЬ ПРИНЯТИЯ РЕШЕНИЙ
Valen-Decision — мультимодальная модель System One для принятия решений. Принимает текст, изображения и видео, возвращает вероятности по заданным кандидатам и координаты
★ 918 · PythonLLM.SWIFT - ЛОКАЛЬНЫЙ ДОСТУП К LLM
Простая библиотека для работы с большими языковыми моделями локально на всех платформах Apple.
★ 884 · C++BIGMOEONEDGE - СУПЕР МОЭ НА ТЕЛЕФОНЕ
Проект позволяет запускать модели Mixture‑of‑Experts размером 284 B на устройстве с 12 ГБ ОЗУ, используя только CPU и llama.cpp без потери точности.
★ 855 · C++JANAS: БЫСТРЫЙ ИНФЕРЕНС LLM
janas запускает huge LLM (до 48 ГБ) на ноутбуке 32 ГБ, обгоняя llama.cpp в 8‑10 раз. На Qwen3-Next-80B даёт 37 ток/сек без draft и 62 ток/сек при чтении GGUF. Поддерживае
★ 712 · CTENSORSHARP - МОЩНЫЙ .NET LLM
Библиотека для быстрого запуска GGUF моделей на .NET с поддержкой GPU, консольного приложения, веб‑чата и API, совместимого с Ollama и OpenAI.
★ 679 · C#DISLLM ИНФЕРЕНС НА MOJO
Запускает диффузионные LLM (LLaDA, Dream) локально на CPU без GPU. Написан на Mojo с поддержкой GGUF-формата. 289 звёзд на GitHub.
★ 540 · MojoЗАПУСК DEEPSEEK-V4.1 552B НА ОДНОМ ПК
Xolotl — движок для запуска крупных MoE-моделей (DeepSeek-V4.1-Flash 552B, GLM-5.3-Flash, Qwen3.8, LFM3-Omni) на одном ПК с RTX 4090. Обеспечивает 33 ток/с на агентских з
★ 534 · C++Audar-ASR-V1: генеративный ASR
Проект представляет Arabic-first генеративную систему распознавания речи с моделями Flash и Turbo, занимающую первое место в лидерборде Open Universal Arabic ASR. Включае
★ 503 · PythonYZMA: ЛОКАЛЬНЫЙ LLM В GO
Интеграция llama.cpp в Go-приложения для локального инференса с аппаратным ускорением. 496 звёзд на GitHub.
★ 496 · GoGERBIL: ЛОКАЛЬНЫЕ LLM НА ВАШЕМ ПК
Десктопное приложение для запуска больших языковых моделей прямо на вашем компьютере. Без облака, без подписок — полный контроль над AI.
★ 482 · TypeScriptDS4 НА SPARK: УСКОРЕНИЕ 3X
Однокомандная установка fork ds4 на NVIDIA DGX Spark с ~3‑кратным ускорением prefill и ~1.5‑кратным decode.
★ 415 · ShellLLAMAMPERE: УСКОРЕНИЕ LLM НА RTX 3090
Форк llama.cpp с оптимизацией под Ampere GPU. Даёт 110+ токенов/с на Qwen 3.8 при 100K контексте. Работает на 12 ГБ VRAM с 200K+ контекстом.
★ 380 · C++STRIX HALO LLM НАСТРОЙКА
Руководство по LLM на Ryzen AI MAX+ 395 и Radeon 8060S через Ollama, llama.cpp и ROCm. Достигаем 100 токен/с 30B Qwen и 140 токен/с CHADROCK MTP.
★ 373 · PythonPMETAL: УСКОРЕНИЕ LLM НА APPLE SILICON
PMetal — фреймворк на Rust для высокопроизводительного запуска LLM на Apple Silicon. Поддерживает локальный инференс fine‑tuning LoRA/QLoRA сервинг квантизацию и ускорени
★ 333 · RustLOCALMIND: ОФЛАЙН ЧАТ С LLM
Localmind — мобильное приложение на Dart/Flutter для работы с локальными LLM и серверами ИИ без утечки данных. Обеспечивает быстрый чат, поддержку моделей Gemma и совмест
★ 326 · DartЛЛАМАСТЭШ ТЕРМИНАЛЬНЫЙ LLM МЕНЕДЖЕР
llamastash — терминальный менеджер локальных LLM без накладных расходов. Запускает, контролирует и направляет модели GGUF через единый OpenAI‑совместимый endpoint.
★ 299 · RustTURBO LLM: ОФФЛАЙН С ИИ
Запускай любую локальную LLM, автонастройка под GPU, веб‑интерфейс и API совместимый с OpenAI/Anthropic.
★ 296 · TypeScriptJITLLM: ВЫСОКОПРОИЗВОДИТЕЛЬНЫЙ LLM НА JVM
JITLLM — Java‑фреймворк для высокопроизводительного инференса и serving LLM на JVM. Поддерживает ускорение GPU, форматы GGUF иquantized модели, а также интеграцию с DeepS
★ 295 · JavaНЕ ОЛЛАМА — мнение не придерживаюсь
Auto-tuned launcher для GGUF моделей на llama.cpp — сервер с поддержкой нескольких GPU, настройкой под железо и восстановлением после крашей. Звёздочек: 226.
★ 284 · GoLLAMA_ROS ROS 2 LLM
Проект объединяет llama.cpp и llava.cpp с ROS 2, позволяя использовать GGUF-модели для робототехники в реальном времени.
★ 268 · C++LLMKUBE: LLM В KUBERNETES
LLMKube - оператор Kubernetes для LLM‑инференса на смешанном GPU‑флоте: NVIDIA CUDA, AMD Vulkan, Apple Silicon Metal. Поддерживает llama.cpp, vLLM, TGI, mlx-server, мульт
★ 266 · GoPULSAR — УЛЬТРАБЫСТРЫЙ ИНФЕРЕНС MOE
Pulsar — SSD‑стриминговый движок для гигантских MoE‑моделей на Rust+CUDA.
★ 238 · RustJANGQ — КВАНТОВАНИЕ ДЛЯ APPLE SILICON
JANG — адаптивное смешанно‑точное квантование моделей GGUF для MLX на Apple Silicon. Требует использование runtime JANG_Q для максимальной производительности.
★ 233 · PythonPURE-RUST ДВИЖОК ДЛЯ QWEN GGUF
RustingStrata — чисто на Rust движок вывода для Qwen GGUF (Qwen3–3.8, MoE до 770B+). Поддерживает CUDA/Vulkan, гибрид CPU+GPU, MTP спекулятивное декодирование. До 1.7x ll
★ 231 · RustCAMELID: ЛОКАЛЬНЫЙ ИИ НА RUST
Camelid — бэкенд для локального вывода на Rust, совместимый с моделями через доказательную совместимость. Поддерживает Apple Silicon, GGUF, Llama и другие LLM, работает п
★ 221 · RustETOS-LLM-STUDIO: AI-ПОМОЩНИК НА iOS
Нативный LLM‑клиент для iOS и Apple Watch: запускай локальные GGUF‑модели через llama.cpp либо подключайся к OpenAI, Claude, Gemini. Есть локальный RAG, MCP‑инструменты,
★ 219 · SwiftСамостоятельный шлюз LLM
Один бинарник Go превращает ваши Mac и Linux‑машины в приватный кластер инференса с мульти‑машинным роутингом, шардингом через llama.cpp‑RPC и поддержкой API OpenAI и Ant
★ 38 · GoMEMRA - ИИ УСКОРИТЕЛЬ ДЛЯ RTX
Memra — это реализация inference LLM с нуля, оптимизированная под архитектуры RTX 5090 (sm_120a) и H100 (sm_90a) на Rust.
★ 6 · RustНовые проекты по теме — в Telegram
Telegram →