R_REDDYX.XYZ

Local LLM: open-source проекты на GitHub

102 репозиториев по теме Local LLM, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.

// СМЕЖНЫЕ ТЕМЫ

LLM 2064Ollama 237Self Hosted 348Gguf 45Llama Cpp 49MCP 1593AI Agent 680Local AI 73Apple Silicon 53AI Agents 1303Claude Code 1573Qwen 101Mlx 48Coding Agent 195
Mintplex-Labs/anything-llm

AI-продуктивность на устройстве

Универсальный инструмент для продуктивности с ИИ, работающий локально и обеспечивающий полную конфиденциальность без сложной настройки.

★ 59,922 · JavaScript
tonhowtf/omniget

ВСЕ В ОДНОМ: КУРСЫ И ВИДЕО

omniget — бесплатный открытый десктоп‑приложение для скачивания курсов Udemy/Hotmart и видео с YouTube через yt‑dlp GUI (1800+ сайтов). Также интерфейс для AI‑агентов; ра

★ 14,442 · Rust
MakazhanAlpamys/Soup

СУП: ОБУЧАЕМ LLM ЛЕГКО

Soup дообучает LLM из одного YAML, используя слой потоковой передачи — 8B модель на ноутбуке с 4 ГБ VRAM.

★ 10,552 · Python
LearningCircuit/local-deep-research

Локальный глубокий поиск

Достигает ~95% точности на SimpleQA, работает с любыми локальными и облачными LLM и более 10 поисковыми движками, всё зашифровано и локально.

★ 7,516 · Python
AienTech/dossier

AI-доссье для карьеры

Self-hosted приложение на TypeScript, которое использует ИИ для создания персонализированных резюме и сопроводительных писем из вашего профиля. Позволяет искать вакансии

★ 5,145 · TypeScript
langroid/langroid

LANGRID - МУЛЬТИАГЕНТ ИИ ДЛЯ КОДА

Простой фреймворк для создания агентов на базе LLM с поддержкой памяти и инструментов.

★ 4,029 · Python
AtomicBot-ai/atomic-agent

ATOMIC AGENT: ЛОКАЛЬНЫЙ ИИ

Локальный ИИ‑агент atomic-agent работает полностью на вашем устройстве, поддерживает длинный контекст и точный вызов инструментов.

★ 3,682 · TypeScript
deta/surf

SURF - ПЕРСОНАЛЬНЫЙ AI БЛОКНОТ

Серф — открытый личный блокнот на ИИ: объединяет файлы и веб‑страницы, генерирует заметки и работает полностью локально.

★ 3,425 · TypeScript
mw00/project-maya

PROJECT MAYA: ЛОКАЛЬНЫЙ ЗАПУСК LLM

Project Maya позволяет запускать GLM-5.3-Flash (321B MoE) локально на одном или до 16 GPU, поддерживая NVIDIA и AMD под Linux и Windows. В комплекте — движок, сервер, даш

★ 2,898 · C++
syv-ai/HyperQwen

HyperQwen: Qwen на потребительских GPU

Проект оптимизирует запуск больших моделей Qwen на доступных GPU с помощью vLLM патчей и реквантизации. Достигает 127 ток/с на 24 ГБ.

★ 2,713 · Python
youssofal/MTPLX

МТПЛХ СУПЕРБЫСТРЫЙ ЗАПУСК

MTPLX позволяет запускать Qwen 3.8 Flash Next и Qwen 3.8 27B на Mac достигая 125 токенов/сек в OpenCode. Благодаря MTP speculative decoding на Apple Silicon результаты то

★ 2,706 · Python
nicedreamzapp/claude-code-local

Локальный Claude Code

Запускайте Claude Code полностью на устройстве с Apple Silicon, используя MLX‑нативный сервер, совместимый с Anthropic API. Поддерживает локальные модели Qwen 3.5 122B, L

★ 2,578 · Python
ddalcu/mlx-serve

НАТИВНЫЙ LLM СЕРВЕР НА МАК

Сервер LLM совместим с OpenAI+Anthropic, без Python. Включает MLX Core macOS: чат, агент и вызов инструментов.

★ 2,472 · Zig
raullenchai/Rapid-MLX

Быстрый локальный ИИ движок

Rapid-MLX — самый быстрый локальный ИИ‑движок для Apple Silicon, работающий 4.2× быстрее Ollama и обеспечивающий кэшированное время первого токена всего 0.08с.

★ 2,185 · Python
rafska/awesome-local-llm

ЗАПУСКАЙ НЕЙРОСЕТИ ЛОКАЛЬНО

Подборка лучших платформ и инструментов для запуска LLM на своём железе. 2000+ звёзд!

★ 2,045
AtomicBot-ai/Atomic-Chat

ЛОКАЛЬНЫЙ AI-АГЕНТ С ОТКРЫТЫМ ИСКОДНИКОМ

Atomic-Chat — приватный AI-движок для локального запуска LLM без интернета. Полностью offline на вашем компьютере. ⭐ 967 звёзд на GitHub.

★ 2,008 · TypeScript
axoviq-ai/synthadoc

LLM-ДВИЖОК ПРЕОБРАЗОВАНИЯ ДОКУМЕНТОВ В WIKI

Открытый движок, превращающий сырые документы (PDF, видео, таблицы) в структурированную локальную wiki на Markdown. Автоматически строит перекрёстные ссылки, находит прот

★ 2,004 · Python
Roy3838/Observer

МИКРО-АГЕНТЫ НАБЛЮДАЮТ ЗА ЭКРАНОМ

Observer — фреймворк локальных микро-агентов на TypeScript. Они следят за экраном и автоматизируют рутину без облака. 1663 звезды на GitHub.

★ 1,803 · TypeScript
hydropix/TranslateBooksWithLLMs

ПЕРЕВОДИ КНИГИ С LLM

Переводит книги и документы с помощью Ollama, OpenAI, Gemini и других моделей. Сохраняет форматирование и возобновляет перевод с последнего места.

★ 1,770 · Python
fikrikarim/parlor

Парлор AI на устройстве

Парлор — открытый проект, позволяющий вести естественные голосовые и визуальные диалоги с ИИ, работающим полностью локально на вашем устройстве. Он построен на моделях Ge

★ 1,752 · HTML
razzant/ouroboros

ОРОУБОРОС – СЕБЯ‑СОЗДАННЫЙ AI

Самозарождённый агент, пишущий себя на Python. С 726 ветками уже благодарен сообществу.

★ 1,667 · Python
autonomous-ai/autonomous-computer

СОБЕРИ СВОЙ AI КОМПЬЮТЕР

Проект помогает собрать собственный персональный ИИ-компьютер с открытым исходным кодом и поддержкой автономных агентов.

★ 1,577
peonist-ai/halogen-flash-server

БЫСТРЫЙ ЗАПУСК QWEN3.8 НА AMD

Проект предоставляет скрипты для мгновенного развёртывания Qwen3.8-Flash-Next на GPU AMD Strix Halo (gfx1151) через HIP. Все зависимости собираются автоматически, а infer

★ 1,349 · Shell
HelgeSverre/ollama-gui

ОЛЛАМА GUI: ЛОКАЛЬНЫЙ ЧАТ AI

Веб‑интерфейс для общения с локальными LLM через API Ollama. Позволяет переключать модели, вести историю чата и настраивать параметры генерации прямо в браузере. Работает

★ 1,270 · TypeScript
synchopate/llama-modchip

ЗАПУСКАЕМ 284B LLM НА CPU БЕЗ GPU

llama-modchip запускает DeepSeek-V4-Flash 284B на чистом CPU 64GB RAM: 44.4 tok/s префилл, 9-14 tok/s генерация. 30B MoE модели до 111 tok/s. Контекст 256K, восстановлени

★ 1,234 · Python
siddsachar/row-bot

ROW‑BOT ПЕРСОНАЛЬНЫЙ AI ПОМОЩНИК

Row‑Bot — локальный ИИ‑ассистент с знографией, голосом, зрением и автоматизацией задач. Все данные остаются на вашем устройстве.

★ 1,223 · Python
siddsachar/Thoth

siddsachar/Thoth

Персональный AI-ассистент с графом знаний, голосом, автоматизацией и отслеживанием здоровья. Работает локально через Ollama или облачные модели по выбору.

★ 1,098 · Python
itayinbarr/little-coder

Кодовый агент для LLM

Кодовый агент, оптимизирован для меньших LLM.

★ 1,083 · TypeScript
simplexai-labs/PolyStrata

ЗАПУСТИ БОЛЬШИЕ LLM ЛОКАЛЬНО

PolyStrata позволяет запускать Qwen3.8-Flash, GLM 5.3 Flash, DeepSeek V4 и другие модели на своем ПК. Установка за один клик на Windows и Linux с поддержкой OpenAI/Anthro

★ 1,037 · C++
kennss/SiliconScope

SiliconScope — Мониторинг Apple Silicon

Нативный монитор системы Apple Silicon на SwiftUI без sudo: отслеживание ANE, Media Engine и пропускной способности памяти.

★ 1,024 · Swift
OleksandrChekhovskyi/hax

HAX МИНИМАЛИСТИЧНЫЙ ТЕРМИНАЛЬНЫЙ АГЕНТ

Минималистичный coding-агент на C, работающий прямо в терминале. Позволяет писать и редактировать код без лишних зависимостей.

★ 999 · C
kossakovsky/selfhost-ai

SELFHOST AI: ОДНОЙ КОМАНДОЙ

Развёртывайте n8n, Ollama, Flowise, RAG и более 30 инструментов одной командой с автоматическим HTTPS.

★ 963 · Shell
feder-cr/jev

JEVOS: БИНАРНЫЕ РЕШЕНИЯ НА НОУТБУКЕ

Jevos — открытая альтернатива Jev для решений да/нет. Работает полностью локально на CPU через FastAPI. Данные не покидают устройство.

★ 963 · Python
SamurAIGPT/awesome-openclaw

awesome-openclaw - ИИ АГЕНТ ДЛЯ ЧАТОВ

Кураторский список ресурсов, инструментов и гайдов по OpenClaw — самодостаточному ИИ‑агенту для WhatsApp, Telegram, Discord и 50+ интеграций.

★ 956
Andyyyy64/whichllm

Какую локальную LLM выбрать?

Найдите локальную модель с лучшей производительностью на вашем оборудовании по реальным бенчмаркам, а не по количеству параметров. Одна команда — мгновенный запуск.

★ 947 · Python
sgaofen/humanizer-local-model

ЛОКАЛЬНЫЙ ХУМАНАЙЗЕР AI‑ЧЕРНОВИКОВ

Проект перефразирует черновики, созданные ИИ, так чтобы они звучали как написанные человеком, сохраняя все факты. Работает полностью локально, без отправки данных в облак

★ 935 · Python
agents-io/PokeClaw

ПОКЕКЛОУ AI НА АНКДРОИД

PokeClaw — первое локальное AI‑агенты для управления Android без облака и API‑ключей, построенное на Gemma 4. Управляй телефоном голосом и жестами прямо на устройстве.

★ 872 · Kotlin
genex-games/genex-desktop

AI-агент для разработки игр

Настольное приложение с AI-агентом для создания игр в Unreal Engine, Unity, Godot и браузере. Агент сам настраивает движок, собирает билд и тестирует игру.

★ 872 · TypeScript
IncarnaMind/IncarnaMind

INCARNAMIND AI ЧАТ С ДОКУМЕНТАМИ

Бесплатное десктоп‑приложение для macOS, Windows и Linux, позволяющее задавать вопросы по документам и получать ответы с точными ссылками на страницы. IncarnaMind проверя

★ 858 · TypeScript
jonigl/mcp-client-for-ollama

MCP-КЛИЕНТ ДЛЯ ЛОКАЛЬНЫХ LLM

TUI-клиент для Ollama с поддержкой всех MCP-примитивов, агентным режимом, мультисерверностью и потоковым выводом. 749 ⭐

★ 836 · Python
openyak/openyak

Локальный ИИ-агент для чатов

Бесплатный агент для чатов с локальным ИИ. Работает без облака, сохраняя приватность и полный контроль над данными.

★ 783 · Python
orneryd/NornicDB

NORNICDB: УЛЬТРАБЫСТРАЯ ГРАФОВЕКТОРНАЯ БД

Распределённая БД с суб-мс поиском HNSW, графовым обходом и поддержкой Neo4j Bolt/Cypher + Qdrant gRPC.

★ 753 · Go
ARahim3/mlx-dspark

MLX-DSPARK: УСКОРЕНИЕ LLM В 4X

Портативный MLX-порт DeepSeek DSpark и z‑lab DFlash для ускорения декодирования LLM на Apple Silicon до 4× без потери качества.

★ 740 · Python
prabanta-dev/janas

JANAS: БЫСТРЫЙ ИНФЕРЕНС LLM

janas запускает huge LLM (до 48 ГБ) на ноутбуке 32 ГБ, обгоняя llama.cpp в 8‑10 раз. На Qwen3-Next-80B даёт 37 ток/сек без draft и 62 ток/сек при чтении GGUF. Поддерживае

★ 712 · C
hyperionaidev/smolmaxxing

SMOLMAXXING: LLM НА МИКРОКОНТРОЛЛЕРАХ

Библиотека на C для запуска LLM на микроконтроллерах и слабом железе. Альтернатива llama.cpp с фокусом на минимальный расход памяти. Поддерживает квантование и разные арх

★ 691 · C
carloslfu/slotstream

SLOTSTREAM ЗАПУСКАЕТ QWEN3.8 НА МАК

Запустите Qwen3.8‑Flash‑Next (125B MoE, 104 ГБ в 4‑бит) на Mac, загружая эксперты по требованию с SSD. Реализовано на MLX + Swift, предоставляет API, совместимый с Ollama

★ 673 · Swift
Nehanth/pooled

Пул устройств для LLM

Проект позволяет объединять вычислительные мощности браузеров пользователей для запуска больших открытых языковых моделей непосредственно в браузере, обеспечивая работу ч

★ 649 · JavaScript
NightMean/OlliteRT

OLLITERT LLM СЕРВЕР ANDROID

OlliteRT превращает Android‑смартфон в локальный OpenAI‑совместимый LLM‑сервер. Работает полностью офлайн, гарантируя конфиденциальность и открытый код на Kotlin.

★ 633 · Kotlin
kytmanov/obsidian-llm-wiki-local

Obsidian LLM Wiki локально

Полностью локальная вики для Obsidian через Ollama. Загрузите Markdown-заметки — AI извлечёт концепции и автоматически свяжет вашу базу знаний. Нулевой обмен данными.

★ 625 · Python
heider-x/vela

VELA — AI ПИШЕТ РОМАНЫ

AI-powered IDE с локальными LLM, RAG и полной приватностью для авторов веб-фикшена.

★ 590 · TypeScript
abacusai/abacusai-bot

СВОИ AI-АГЕНТЫ В МЕССЕНДЖЕРАХ

abacusai-bot — 100% бесплатный open-source фреймворк для запуска персональных AI-агентов в Telegram, WhatsApp и CLI. Написан на TypeScript, поддерживает инструменты, код

★ 557 · TypeScript
askimo-ai/askimo

ASKIMO: ИИ-КЛИЕНТ ДЛЯ ЧАТА

askimo — универсальный AI-клиент на Kotlin с поддержкой чата, RAG, планов и агентов через множественные провайдеры моделей.

★ 549 · Kotlin
Yzw202011/OmniSpace

Локальная AI-рабочая станция для творчества

Полноценная полностековая платформа с 5 модулями (чат, комиксы, манхва, письмо, знания) для запуска LLM локально на vLLM, llama.cpp и Transformers с умным управлением VRA

★ 535 · Python
FrigadeHQ/hob

ЛОКАЛЬНЫЙ AI БЕЗ ОБЛАКА

Hob — открытый десктопный клиент для запуска моделей Gemma и gpt-oss локально на Mac, Windows и Linux. Работает офлайн, данные не уходят в облако. Бесплатная альтернатива

★ 535 · TypeScript
Indras-Mirror/Xolotl

ЗАПУСК DEEPSEEK-V4.1 552B НА ОДНОМ ПК

Xolotl — движок для запуска крупных MoE-моделей (DeepSeek-V4.1-Flash 552B, GLM-5.3-Flash, Qwen3.8, LFM3-Omni) на одном ПК с RTX 4090. Обеспечивает 33 ток/с на агентских з

★ 534 · C++
PurpleDoubleD/locally-uncensored

ЛОКАЛЬНЫЙ AI БЕЗ ЦЕНЗУРЫ

Десктопное приложение с чатом, агентом, генерацией изображений и видео. Один .exe, без Docker. 518 ⭐

★ 518 · TypeScript
john-rocky/coreai-model-zoo

COREAI-MODEL-ZOO

Модельный зоопарк для Apple Core AI с конвертацией Qwen3.5 и Gemma 4, кастомными Metal-ядрами и раннером на Swift.

★ 465 · Swift
EvolvingAgentsLabs/evolving-agents

ЭВОЛЮЦИОНИРУЮЩИЙ АГЕНТ ДЛЯ КОМАНД

Директор‑агент изучает работу команды через CLAUDE.md и связанные утверждения памяти, формирует план и поручает задачи Claude Code или локальным моделям. Уроки сохраняютс

★ 458 · TypeScript
JMS1717/ming-voice

ЛОКАЛЬНЫЙ SPEECH-TO-SPEECH АССИСТЕНТ НА GPU

Полностью локальный голосовой ассистент с задержкой ~0.23с от конца фразы до ответа. Работает на AMD/Nvidia GPU под Windows и Linux без отправки аудио в облако.

★ 448 · Python
inclusionAI/AReno

ARENO - УСКОРЯЕМ RL НА ОДНОМ УЗЛЕ

ARENO упрощает масштабирование пост‑обучения RL на одном узле, обеспечивая высокую скорость и минимальную настройку.

★ 389 · Python

Новые проекты по теме — в Telegram

Telegram →
Local LLM — 102 open-source проектов на GitHub | REDDYX AI