Local LLM: open-source проекты на GitHub
102 репозиториев по теме Local LLM, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.
// СМЕЖНЫЕ ТЕМЫ
LLAMAMPERE: УСКОРЕНИЕ LLM НА RTX 3090
Форк llama.cpp с оптимизацией под Ampere GPU. Даёт 110+ токенов/с на Qwen 3.8 при 100K контексте. Работает на 12 ГБ VRAM с 200K+ контекстом.
★ 380 · C++STRIX HALO LLM НАСТРОЙКА
Руководство по LLM на Ryzen AI MAX+ 395 и Radeon 8060S через Ollama, llama.cpp и ROCm. Достигаем 100 токен/с 30B Qwen и 140 токен/с CHADROCK MTP.
★ 373 · PythonAI-АГЕНТ ДЛЯ ВАШЕЙ РАБОТЫ
Mindroom — открытый AI-агент, который узнаёт ваш контекст работы и общается в привычном чат-интерфейсе. Поддерживает любую LLM, можно self‑hosted или пользоваться hosted‑
★ 370 · PythonHUMLa: AI ЗАМЕТКИ НА МАК
Open-source Mac‑app: запись микрофона + системного аудио, транскрипция офлайн или через OpenAI/Deepgram/Groq, определение спикеров и суммари с заметками.
★ 349 · RustLATE-CLI: AI-КОМАНДА В ТЕРМИНАЛЕ
Запускай ИИ-команду разработки на 5 ГБ VRAM: временные суб-агенты, точные диффы, один бинарник, любая модель, без конфига.
★ 342 · GoLOCALMIND: ОФЛАЙН ЧАТ С LLM
Localmind — мобильное приложение на Dart/Flutter для работы с локальными LLM и серверами ИИ без утечки данных. Обеспечивает быстрый чат, поддержку моделей Gemma и совмест
★ 326 · DartLINGER: ЛОКАЛЬНЫЙ ПЕРСОНАЛЬНЫЙ АГЕНТ 125B
Open-source персональный агент, запускающий 125B MoE-модель на 12 ГБ GPU. Запоминает контекст, работает проактивно и хранит данные локально.
★ 317 · TypeScriptОФЛАЙН AI АССИСТЕНТ ДЛЯ WINDOWS
Бесплатный офлайн-ассистент для Windows читает экран, слышит ваш вопрос и отвечает голосом. Работает локально через Ollama, не требует API‑ключа. Исходный код на Python с
★ 314 · PythonВОСХИТИТЕЛЬНОЙ ВТОРОЙ МОЗГ: ИИ-БАЗА ДЛЯ КОМАНД
Кураторский набор решений для создания самосовершенствующегося второго мозга, который помогает ИИ-агентам понимать личный и командный контекст.
★ 309CARWATCH AI-АГЕНТ АВТО
CarWatch превращает Raspberry Pi 5, видеорегистратор и локальный ИИ в чат-агент для машины. Общайтесь с автомобилем, получайте данные и управляйте функциями в реальном вр
★ 305 · PythonБЫСТРЫЙ AI-АГЕНТ ДЛЯ КОДА
Это AI-агент для кодинга, который эффективнее обычных подписок. Он объединяет быстрый поиск кода и локальный анализ без лимитов.
★ 302 · TypeScriptОДИН CLI ДЛЯ ВСЕХ РОБОТОВ
quackd — CLI для управления роботами с LLM‑мозгом. Подключает Microduck, LeRobot, ROS и др., работает с Claude, OpenAI, Gemini, Grok или локально через Ollama/vLLM. Есть
★ 297 · PythonTURBO LLM: ОФФЛАЙН С ИИ
Запускай любую локальную LLM, автонастройка под GPU, веб‑интерфейс и API совместимый с OpenAI/Anthropic.
★ 296 · TypeScriptРЕАЛЬНЫЕ СЦЕНАРИИ HERMES AGENT
awesome-hermes-usecases — curated collection of real-world use cases for Hermes Agent, the self‑improving AI agent from Nous Research. Each example is backed by primary s
★ 296 · PythonОТКРЫТЫЙ AI-АГЕНТ ДЛЯ РАБОЧЕГО СТОЛА
OpenGhost — открытый AI‑агент для рабочего стола на JavaScript. Он имеет собственный движок агентов, инструменты автоматизации браузера и рисовальный движок, который визу
★ 295 · JavaScriptОФФЛАЙН LLM НА АНДРОИД: ПОЛНАЯ ПРИВАТНОСТЬ
OfflineLLM запускает любые GGUF-модели локально через llama.cpp с ARM-оптимизацией. Никаких сетевых разрешений: настройки зашифрованы, есть биометрическая блокировка и за
★ 291 · KotlinНЕ ОЛЛАМА — мнение не придерживаюсь
Auto-tuned launcher для GGUF моделей на llama.cpp — сервер с поддержкой нескольких GPU, настройкой под железо и восстановлением после крашей. Звёздочек: 226.
★ 284 · GoСОБЕРИ СВОЙ AI ИНТРАНЕТ
Автономная сетка объединяет ваши компьютеры в единую инфраструктуру для запуска AI‑моделей: обучение, дообучение и инференс. Поддерживает распределённые вычисления, fine‑
★ 278 · PythonВИКИ ИЗ ДОКУМЕНТОВ С ССЫЛКАМИ
Преобразуйте документы в Markdown-вики с точными ссылками на источники. Запуск локально через Ollama или любой LLM-провайдер, CROW-маршрутизатор повышает точность до 89%
★ 277 · PythonAI АГЕНТЫ НА СВОИХ СЕРВЕРАХ
Open-source платформа для запуска AI-агентов на своих серверах. Поддерживает общий чат, RAG, навыки, настоящий браузер, 4700+ MCP-серверов, бюджеты и аудит. Альтернатива
★ 270 · PythonLLMKUBE: LLM В KUBERNETES
LLMKube - оператор Kubernetes для LLM‑инференса на смешанном GPU‑флоте: NVIDIA CUDA, AMD Vulkan, Apple Silicon Metal. Поддерживает llama.cpp, vLLM, TGI, mlx-server, мульт
★ 266 · GoЖИВОЙ AI-ОФИС НА СТОЛЕ
AI-агенты работают прямо на рабочем столе — ходят, общаются, делегируют задачи и проводят встречи. Поддержка Claude, GPT, GLM и других LLM. Интеграция с Telegram, Discord
★ 265 · JavaScriptРАСШИРЕНИЕ БРАУЗЕРА ДЛЯ ЛОКАЛЬНОГО ПЕРЕВОДА
Расширение для Chrome и Firefox, переводящее страницы, PDF, субтитры и вводимый текст локально через модель PLaMo. Работает без сервера, аккаунтов и телеметрии.
★ 253 · TypeScriptСЕКРЕТНЫЙ AI ДЛЯ ВАШЕГО ДЕСКА
Garden‑desk — это приватный AI‑агент, запускаемый локально на TypeScript. Позволяет создавать мультиагентные workflows, работать с локальными LLM и共享 контекст в команде.
★ 249 · TypeScriptПОРТАТИВНЫЙ HERMES AGENT ДЛЯ WINDOWS
Портативный Hermes Agent — это готовый рабочий стол для Windows с более чем 100 AI‑инструментами, GUI и поддержкой локальных моделей через LM Studio. Включает TTS, генера
★ 247 · PythonЛокальное AI ролевое приложение
Open Dungeon позволяет генерировать рассказы и inline‑изображения полностью на вашем компьютере, используя Gemma 4 QAT через Ollama (и другие) + FLUX, без учётных записей
★ 241 · TypeScriptPULSAR — УЛЬТРАБЫСТРЫЙ ИНФЕРЕНС MOE
Pulsar — SSD‑стриминговый движок для гигантских MoE‑моделей на Rust+CUDA.
★ 238 · RustPURE-RUST ДВИЖОК ДЛЯ QWEN GGUF
RustingStrata — чисто на Rust движок вывода для Qwen GGUF (Qwen3–3.8, MoE до 770B+). Поддерживает CUDA/Vulkan, гибрид CPU+GPU, MTP спекулятивное декодирование. До 1.7x ll
★ 231 · RustOCTET: БЫСТРЫЙ AI-АГЕНТ ДЛЯ КОДА
Rust-агент для кодинга с поддержкой мультимодальных входов и глубокой интеграцией провайдеров LLM. Расширяется на любом языке через JSON-RPC. 207 звёзд на GitHub.
★ 227 · RustЛОКАЛЬНЫЙ ИИ-АГЕНТ ДЛЯ ТЕРМИНАЛА
Codehamr — минимальный локальный ИИ-агент для терминала на Go. Он индексирует код через tree-sitter, предлагает правки и может выполнять команды, работая полностью офлайн
★ 224 · GoOPENAI TTS ДЛЯ HOME ASSISTANT
Компонент openai_tts для Home Assistant использует OpenAI Speech API (или любой совместимый эндпоинт) и выдаёт высококачественный голос. Есть опциональный chime перед/пос
★ 222 · PythonАНУБИС: БЕНЧМАРК LLM НА APPLE SILICON
anubis-oss — Swift‑утилита для локального запуска и бенчмаркинга LLM на Apple Silicon. Она измеряет скорость и точность инференса на GPU, сравнивая результаты с CPU‑базой
★ 217 · SwiftАГЕНТ ДЛЯ КОДА И ИССЛЕДОВАНИЙ
Open-source агент с поддержкой локальных моделей и изолированным песочницей. Управляет кодом,研究 и рутиной без утечки данных.
★ 217 · PythonTAOS САМООБУЧАЮЩИЙСЯ AI ОС
Self-hosted автокластеризующий AI-агентский ОС для вашего железа: Raspberry Pi, Orange, Mac Mini и т.д.
★ 213 · PythonЛОКАЛЬНЫЙ МУЛЬТИМОДАЛЬНЫЙ ЧАТ
Самостоятельно хостимый чат с локальными LLM (Ollama/OpenAI), поддерживающий RAG PDF, чат с изображениями и голосовой ввод через Whisper.
★ 209 · PythonКЛАУДЕКТЛ: УПРАВЛЕНИЕ АГЕНТАМИ
claudectl — это оркестрон роя хаос Claude Code агентов с локальным «мозгом», который следует вашим предпочтениям. Написан на Rust, уже собрал 202★ на GitHub.
★ 204 · RustДаторум — ИИ-каталог
Проект формирует персональный даторум по естественноязыковому запросу, используя самодостаточную Qwen3.6 на одной GPU L4 для ускоренного исследования данных.
★ 67 · PythonСамостоятельный шлюз LLM
Один бинарник Go превращает ваши Mac и Linux‑машины в приватный кластер инференса с мульти‑машинным роутингом, шардингом через llama.cpp‑RPC и поддержкой API OpenAI и Ant
★ 38 · GoТест моделей Ollama
Ollama Model Test (omt) автоматически оценивает различные модели Ollama на заданных задачах, сравнивая их по точности, скорости и использованию ресурсов, чтобы выявить оп
★ 31 · PythonPure Rust LFM2.5-8B-A1B
CPU-only реализация модели LiquidAI LFM2.5-8B-A1B на чистом Rust. Позволяет выполнять инференс текста без GPU и внешних библиотек.
★ 31 · Rustawesome-openclaw - ОТКРЫТЫЙ ИИ АГЕНТ
Кураторский список ресурсов, инструментов и гайдов по OpenClaw — самодестаяй ИИ‑агент для WhatsApp, Telegram, Discord и 50+ интеграций.
★ 6SparkDuet: на-demand библиотека моделей
Проект предоставляет единый OpenAI‑совместимый эндпоинт для запуска моделей DeepSeek и Qwen, обслуживает их через два vLLM‑лейна (TP=2) на кластере NVIDIA DGX Spark и под
★ 0 · PythonНовые проекты по теме — в Telegram
Telegram →