R_REDDYX.XYZ

Local LLM: open-source проекты на GitHub

102 репозиториев по теме Local LLM, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.

// СМЕЖНЫЕ ТЕМЫ

LLM 2064Ollama 237Self Hosted 348Gguf 45Llama Cpp 49MCP 1593AI Agent 680Local AI 73Apple Silicon 53AI Agents 1303Claude Code 1573Qwen 101Mlx 48Coding Agent 195
JakeATX/llamAmpere

LLAMAMPERE: УСКОРЕНИЕ LLM НА RTX 3090

Форк llama.cpp с оптимизацией под Ampere GPU. Даёт 110+ токенов/с на Qwen 3.8 при 100K контексте. Работает на 12 ГБ VRAM с 200K+ контекстом.

★ 380 · C++
hogeheer499-commits/strix-halo-guide

STRIX HALO LLM НАСТРОЙКА

Руководство по LLM на Ryzen AI MAX+ 395 и Radeon 8060S через Ollama, llama.cpp и ROCm. Достигаем 100 токен/с 30B Qwen и 140 токен/с CHADROCK MTP.

★ 373 · Python
mindroom-ai/mindroom

AI-АГЕНТ ДЛЯ ВАШЕЙ РАБОТЫ

Mindroom — открытый AI-агент, который узнаёт ваш контекст работы и общается в привычном чат-интерфейсе. Поддерживает любую LLM, можно self‑hosted или пользоваться hosted‑

★ 370 · Python
michaelwilhelmsen/humla

HUMLa: AI ЗАМЕТКИ НА МАК

Open-source Mac‑app: запись микрофона + системного аудио, транскрипция офлайн или через OpenAI/Deepgram/Groq, определение спикеров и суммари с заметками.

★ 349 · Rust
mlhher/late-cli

LATE-CLI: AI-КОМАНДА В ТЕРМИНАЛЕ

Запускай ИИ-команду разработки на 5 ГБ VRAM: временные суб-агенты, точные диффы, один бинарник, любая модель, без конфига.

★ 342 · Go
abdulmominsakib/localmind

LOCALMIND: ОФЛАЙН ЧАТ С LLM

Localmind — мобильное приложение на Dart/Flutter для работы с локальными LLM и серверами ИИ без утечки данных. Обеспечивает быстрый чат, поддержку моделей Gemma и совмест

★ 326 · Dart
simplexai-labs/linger

LINGER: ЛОКАЛЬНЫЙ ПЕРСОНАЛЬНЫЙ АГЕНТ 125B

Open-source персональный агент, запускающий 125B MoE-модель на 12 ГБ GPU. Запоминает контекст, работает проактивно и хранит данные локально.

★ 317 · TypeScript
Bitshank-2338/clicky-windows

ОФЛАЙН AI АССИСТЕНТ ДЛЯ WINDOWS

Бесплатный офлайн-ассистент для Windows читает экран, слышит ваш вопрос и отвечает голосом. Работает локально через Ollama, не требует API‑ключа. Исходный код на Python с

★ 314 · Python
aristoapp/awesome-second-brain

ВОСХИТИТЕЛЬНОЙ ВТОРОЙ МОЗГ: ИИ-БАЗА ДЛЯ КОМАНД

Кураторский набор решений для создания самосовершенствующегося второго мозга, который помогает ИИ-агентам понимать личный и командный контекст.

★ 309
ThinkOffApp/CarWatch

CARWATCH AI-АГЕНТ АВТО

CarWatch превращает Raspberry Pi 5, видеорегистратор и локальный ИИ в чат-агент для машины. Общайтесь с автомобилем, получайте данные и управляйте функциями в реальном вр

★ 305 · Python
KenKaiii/gg-framework

БЫСТРЫЙ AI-АГЕНТ ДЛЯ КОДА

Это AI-агент для кодинга, который эффективнее обычных подписок. Он объединяет быстрый поиск кода и локальный анализ без лимитов.

★ 302 · TypeScript
rokbenko/quackd

ОДИН CLI ДЛЯ ВСЕХ РОБОТОВ

quackd — CLI для управления роботами с LLM‑мозгом. Подключает Microduck, LeRobot, ROS и др., работает с Claude, OpenAI, Gemini, Grok или локально через Ollama/vLLM. Есть

★ 297 · Python
mohitsoni48/TurboLLM

TURBO LLM: ОФФЛАЙН С ИИ

Запускай любую локальную LLM, автонастройка под GPU, веб‑интерфейс и API совместимый с OpenAI/Anthropic.

★ 296 · TypeScript
aliaihub/awesome-hermes-usecases

РЕАЛЬНЫЕ СЦЕНАРИИ HERMES AGENT

awesome-hermes-usecases — curated collection of real-world use cases for Hermes Agent, the self‑improving AI agent from Nous Research. Each example is backed by primary s

★ 296 · Python
ANDRETRIPOL/OpenGhost

ОТКРЫТЫЙ AI-АГЕНТ ДЛЯ РАБОЧЕГО СТОЛА

OpenGhost — открытый AI‑агент для рабочего стола на JavaScript. Он имеет собственный движок агентов, инструменты автоматизации браузера и рисовальный движок, который визу

★ 295 · JavaScript
jegly/OfflineLLM

ОФФЛАЙН LLM НА АНДРОИД: ПОЛНАЯ ПРИВАТНОСТЬ

OfflineLLM запускает любые GGUF-модели локально через llama.cpp с ARM-оптимизацией. Никаких сетевых разрешений: настройки зашифрованы, есть биометрическая блокировка и за

★ 291 · Kotlin
raketenkater/ggrun

НЕ ОЛЛАМА — мнение не придерживаюсь

Auto-tuned launcher для GGUF моделей на llama.cpp — сервер с поддержкой нескольких GPU, настройкой под железо и восстановлением после крашей. Звёздочек: 226.

★ 284 · Go
autonomous-ai/autonomous-grid

СОБЕРИ СВОЙ AI ИНТРАНЕТ

Автономная сетка объединяет ваши компьютеры в единую инфраструктуру для запуска AI‑моделей: обучение, дообучение и инференс. Поддерживает распределённые вычисления, fine‑

★ 278 · Python
crow-hq/llm-wiki-v2

ВИКИ ИЗ ДОКУМЕНТОВ С ССЫЛКАМИ

Преобразуйте документы в Markdown-вики с точными ссылками на источники. Запуск локально через Ollama или любой LLM-провайдер, CROW-маршрутизатор повышает точность до 89%

★ 277 · Python
vstorm-co/agenticos

AI АГЕНТЫ НА СВОИХ СЕРВЕРАХ

Open-source платформа для запуска AI-агентов на своих серверах. Поддерживает общий чат, RAG, навыки, настоящий браузер, 4700+ MCP-серверов, бюджеты и аудит. Альтернатива

★ 270 · Python
defilantech/LLMKube

LLMKUBE: LLM В KUBERNETES

LLMKube - оператор Kubernetes для LLM‑инференса на смешанном GPU‑флоте: NVIDIA CUDA, AMD Vulkan, Apple Silicon Metal. Поддерживает llama.cpp, vLLM, TGI, mlx-server, мульт

★ 266 · Go
bagidea/bagidea-office

ЖИВОЙ AI-ОФИС НА СТОЛЕ

AI-агенты работают прямо на рабочем столе — ходят, общаются, делегируют задачи и проводят встречи. Поддержка Claude, GPT, GLM и других LLM. Интеграция с Telegram, Discord

★ 265 · JavaScript
jammaru/sakutto

РАСШИРЕНИЕ БРАУЗЕРА ДЛЯ ЛОКАЛЬНОГО ПЕРЕВОДА

Расширение для Chrome и Firefox, переводящее страницы, PDF, субтитры и вводимый текст локально через модель PLaMo. Работает без сервера, аккаунтов и телеметрии.

★ 253 · TypeScript
Private-Garden-Labs/garden-desk

СЕКРЕТНЫЙ AI ДЛЯ ВАШЕГО ДЕСКА

Garden‑desk — это приватный AI‑агент, запускаемый локально на TypeScript. Позволяет создавать мультиагентные workflows, работать с локальными LLM и共享 контекст в команде.

★ 249 · TypeScript
aivrar/portable-hermes-agent

ПОРТАТИВНЫЙ HERMES AGENT ДЛЯ WINDOWS

Портативный Hermes Agent — это готовый рабочий стол для Windows с более чем 100 AI‑инструментами, GUI и поддержкой локальных моделей через LM Studio. Включает TTS, генера

★ 247 · Python
newideas99/open-dungeon

Локальное AI ролевое приложение

Open Dungeon позволяет генерировать рассказы и inline‑изображения полностью на вашем компьютере, используя Gemma 4 QAT через Ollama (и другие) + FLUX, без учётных записей

★ 241 · TypeScript
giannisanni/pulsar

PULSAR — УЛЬТРАБЫСТРЫЙ ИНФЕРЕНС MOE

Pulsar — SSD‑стриминговый движок для гигантских MoE‑моделей на Rust+CUDA.

★ 238 · Rust
RustingStudio/RustingStrata

PURE-RUST ДВИЖОК ДЛЯ QWEN GGUF

RustingStrata — чисто на Rust движок вывода для Qwen GGUF (Qwen3–3.8, MoE до 770B+). Поддерживает CUDA/Vulkan, гибрид CPU+GPU, MTP спекулятивное декодирование. До 1.7x ll

★ 231 · Rust
skaft-software/octet

OCTET: БЫСТРЫЙ AI-АГЕНТ ДЛЯ КОДА

Rust-агент для кодинга с поддержкой мультимодальных входов и глубокой интеграцией провайдеров LLM. Расширяется на любом языке через JSON-RPC. 207 звёзд на GitHub.

★ 227 · Rust
plaxtoris/codehamr

ЛОКАЛЬНЫЙ ИИ-АГЕНТ ДЛЯ ТЕРМИНАЛА

Codehamr — минимальный локальный ИИ-агент для терминала на Go. Он индексирует код через tree-sitter, предлагает правки и может выполнять команды, работая полностью офлайн

★ 224 · Go
sfortis/openai_tts

OPENAI TTS ДЛЯ HOME ASSISTANT

Компонент openai_tts для Home Assistant использует OpenAI Speech API (или любой совместимый эндпоинт) и выдаёт высококачественный голос. Есть опциональный chime перед/пос

★ 222 · Python
uncSoft/anubis-oss

АНУБИС: БЕНЧМАРК LLM НА APPLE SILICON

anubis-oss — Swift‑утилита для локального запуска и бенчмаркинга LLM на Apple Silicon. Она измеряет скорость и точность инференса на GPU, сравнивая результаты с CPU‑базой

★ 217 · Swift
AlysisAi/AlysisCode

АГЕНТ ДЛЯ КОДА И ИССЛЕДОВАНИЙ

Open-source агент с поддержкой локальных моделей и изолированным песочницей. Управляет кодом,研究 и рутиной без утечки данных.

★ 217 · Python
jaylfc/taOS

TAOS САМООБУЧАЮЩИЙСЯ AI ОС

Self-hosted автокластеризующий AI-агентский ОС для вашего железа: Raspberry Pi, Orange, Mac Mini и т.д.

★ 213 · Python
Leon-Sander/Local-Multimodal-AI-Chat

ЛОКАЛЬНЫЙ МУЛЬТИМОДАЛЬНЫЙ ЧАТ

Самостоятельно хостимый чат с локальными LLM (Ollama/OpenAI), поддерживающий RAG PDF, чат с изображениями и голосовой ввод через Whisper.

★ 209 · Python
mercurialsolo/claudectl

КЛАУДЕКТЛ: УПРАВЛЕНИЕ АГЕНТАМИ

claudectl — это оркестрон роя хаос Claude Code агентов с локальным «мозгом», который следует вашим предпочтениям. Написан на Rust, уже собрал 202★ на GitHub.

★ 204 · Rust
hanxiao/dataroom

Даторум — ИИ-каталог

Проект формирует персональный даторум по естественноязыковому запросу, используя самодостаточную Qwen3.6 на одной GPU L4 для ускоренного исследования данных.

★ 67 · Python
hadihonarvar/flock

Самостоятельный шлюз LLM

Один бинарник Go превращает ваши Mac и Linux‑машины в приватный кластер инференса с мульти‑машинным роутингом, шардингом через llama.cpp‑RPC и поддержкой API OpenAI и Ant

★ 38 · Go
ulyssestenn/omt

Тест моделей Ollama

Ollama Model Test (omt) автоматически оценивает различные модели Ollama на заданных задачах, сравнивая их по точности, скорости и использованию ресурсов, чтобы выявить оп

★ 31 · Python
maximecb/bebelm

Pure Rust LFM2.5-8B-A1B

CPU-only реализация модели LiquidAI LFM2.5-8B-A1B на чистом Rust. Позволяет выполнять инференс текста без GPU и внешних библиотек.

★ 31 · Rust
Anil-matcha/awesome-openclaw

awesome-openclaw - ОТКРЫТЫЙ ИИ АГЕНТ

Кураторский список ресурсов, инструментов и гайдов по OpenClaw — самодестаяй ИИ‑агент для WhatsApp, Telegram, Discord и 50+ интеграций.

★ 6
zorost/sparkduet

SparkDuet: на-demand библиотека моделей

Проект предоставляет единый OpenAI‑совместимый эндпоинт для запуска моделей DeepSeek и Qwen, обслуживает их через два vLLM‑лейна (TP=2) на кластере NVIDIA DGX Spark и под

★ 0 · Python

Новые проекты по теме — в Telegram

Telegram →
Local LLM — страница 2 | REDDYX AI