Local LLM: open-source проекты на GitHub
102 репозиториев по теме Local LLM, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.
// СМЕЖНЫЕ ТЕМЫ
AI-продуктивность на устройстве
Универсальный инструмент для продуктивности с ИИ, работающий локально и обеспечивающий полную конфиденциальность без сложной настройки.
★ 59,922 · JavaScriptВСЕ В ОДНОМ: КУРСЫ И ВИДЕО
omniget — бесплатный открытый десктоп‑приложение для скачивания курсов Udemy/Hotmart и видео с YouTube через yt‑dlp GUI (1800+ сайтов). Также интерфейс для AI‑агентов; ра
★ 14,442 · RustСУП: ОБУЧАЕМ LLM ЛЕГКО
Soup дообучает LLM из одного YAML, используя слой потоковой передачи — 8B модель на ноутбуке с 4 ГБ VRAM.
★ 10,552 · PythonЛокальный глубокий поиск
Достигает ~95% точности на SimpleQA, работает с любыми локальными и облачными LLM и более 10 поисковыми движками, всё зашифровано и локально.
★ 7,516 · PythonAI-доссье для карьеры
Self-hosted приложение на TypeScript, которое использует ИИ для создания персонализированных резюме и сопроводительных писем из вашего профиля. Позволяет искать вакансии
★ 5,145 · TypeScriptLANGRID - МУЛЬТИАГЕНТ ИИ ДЛЯ КОДА
Простой фреймворк для создания агентов на базе LLM с поддержкой памяти и инструментов.
★ 4,029 · PythonATOMIC AGENT: ЛОКАЛЬНЫЙ ИИ
Локальный ИИ‑агент atomic-agent работает полностью на вашем устройстве, поддерживает длинный контекст и точный вызов инструментов.
★ 3,682 · TypeScriptSURF - ПЕРСОНАЛЬНЫЙ AI БЛОКНОТ
Серф — открытый личный блокнот на ИИ: объединяет файлы и веб‑страницы, генерирует заметки и работает полностью локально.
★ 3,425 · TypeScriptPROJECT MAYA: ЛОКАЛЬНЫЙ ЗАПУСК LLM
Project Maya позволяет запускать GLM-5.3-Flash (321B MoE) локально на одном или до 16 GPU, поддерживая NVIDIA и AMD под Linux и Windows. В комплекте — движок, сервер, даш
★ 2,898 · C++HyperQwen: Qwen на потребительских GPU
Проект оптимизирует запуск больших моделей Qwen на доступных GPU с помощью vLLM патчей и реквантизации. Достигает 127 ток/с на 24 ГБ.
★ 2,713 · PythonМТПЛХ СУПЕРБЫСТРЫЙ ЗАПУСК
MTPLX позволяет запускать Qwen 3.8 Flash Next и Qwen 3.8 27B на Mac достигая 125 токенов/сек в OpenCode. Благодаря MTP speculative decoding на Apple Silicon результаты то
★ 2,706 · PythonЛокальный Claude Code
Запускайте Claude Code полностью на устройстве с Apple Silicon, используя MLX‑нативный сервер, совместимый с Anthropic API. Поддерживает локальные модели Qwen 3.5 122B, L
★ 2,578 · PythonНАТИВНЫЙ LLM СЕРВЕР НА МАК
Сервер LLM совместим с OpenAI+Anthropic, без Python. Включает MLX Core macOS: чат, агент и вызов инструментов.
★ 2,472 · ZigБыстрый локальный ИИ движок
Rapid-MLX — самый быстрый локальный ИИ‑движок для Apple Silicon, работающий 4.2× быстрее Ollama и обеспечивающий кэшированное время первого токена всего 0.08с.
★ 2,185 · PythonЗАПУСКАЙ НЕЙРОСЕТИ ЛОКАЛЬНО
Подборка лучших платформ и инструментов для запуска LLM на своём железе. 2000+ звёзд!
★ 2,045ЛОКАЛЬНЫЙ AI-АГЕНТ С ОТКРЫТЫМ ИСКОДНИКОМ
Atomic-Chat — приватный AI-движок для локального запуска LLM без интернета. Полностью offline на вашем компьютере. ⭐ 967 звёзд на GitHub.
★ 2,008 · TypeScriptLLM-ДВИЖОК ПРЕОБРАЗОВАНИЯ ДОКУМЕНТОВ В WIKI
Открытый движок, превращающий сырые документы (PDF, видео, таблицы) в структурированную локальную wiki на Markdown. Автоматически строит перекрёстные ссылки, находит прот
★ 2,004 · PythonМИКРО-АГЕНТЫ НАБЛЮДАЮТ ЗА ЭКРАНОМ
Observer — фреймворк локальных микро-агентов на TypeScript. Они следят за экраном и автоматизируют рутину без облака. 1663 звезды на GitHub.
★ 1,803 · TypeScriptПЕРЕВОДИ КНИГИ С LLM
Переводит книги и документы с помощью Ollama, OpenAI, Gemini и других моделей. Сохраняет форматирование и возобновляет перевод с последнего места.
★ 1,770 · PythonПарлор AI на устройстве
Парлор — открытый проект, позволяющий вести естественные голосовые и визуальные диалоги с ИИ, работающим полностью локально на вашем устройстве. Он построен на моделях Ge
★ 1,752 · HTMLОРОУБОРОС – СЕБЯ‑СОЗДАННЫЙ AI
Самозарождённый агент, пишущий себя на Python. С 726 ветками уже благодарен сообществу.
★ 1,667 · PythonСОБЕРИ СВОЙ AI КОМПЬЮТЕР
Проект помогает собрать собственный персональный ИИ-компьютер с открытым исходным кодом и поддержкой автономных агентов.
★ 1,577БЫСТРЫЙ ЗАПУСК QWEN3.8 НА AMD
Проект предоставляет скрипты для мгновенного развёртывания Qwen3.8-Flash-Next на GPU AMD Strix Halo (gfx1151) через HIP. Все зависимости собираются автоматически, а infer
★ 1,349 · ShellОЛЛАМА GUI: ЛОКАЛЬНЫЙ ЧАТ AI
Веб‑интерфейс для общения с локальными LLM через API Ollama. Позволяет переключать модели, вести историю чата и настраивать параметры генерации прямо в браузере. Работает
★ 1,270 · TypeScriptЗАПУСКАЕМ 284B LLM НА CPU БЕЗ GPU
llama-modchip запускает DeepSeek-V4-Flash 284B на чистом CPU 64GB RAM: 44.4 tok/s префилл, 9-14 tok/s генерация. 30B MoE модели до 111 tok/s. Контекст 256K, восстановлени
★ 1,234 · PythonROW‑BOT ПЕРСОНАЛЬНЫЙ AI ПОМОЩНИК
Row‑Bot — локальный ИИ‑ассистент с знографией, голосом, зрением и автоматизацией задач. Все данные остаются на вашем устройстве.
★ 1,223 · Pythonsiddsachar/Thoth
Персональный AI-ассистент с графом знаний, голосом, автоматизацией и отслеживанием здоровья. Работает локально через Ollama или облачные модели по выбору.
★ 1,098 · PythonКодовый агент для LLM
Кодовый агент, оптимизирован для меньших LLM.
★ 1,083 · TypeScriptЗАПУСТИ БОЛЬШИЕ LLM ЛОКАЛЬНО
PolyStrata позволяет запускать Qwen3.8-Flash, GLM 5.3 Flash, DeepSeek V4 и другие модели на своем ПК. Установка за один клик на Windows и Linux с поддержкой OpenAI/Anthro
★ 1,037 · C++SiliconScope — Мониторинг Apple Silicon
Нативный монитор системы Apple Silicon на SwiftUI без sudo: отслеживание ANE, Media Engine и пропускной способности памяти.
★ 1,024 · SwiftHAX МИНИМАЛИСТИЧНЫЙ ТЕРМИНАЛЬНЫЙ АГЕНТ
Минималистичный coding-агент на C, работающий прямо в терминале. Позволяет писать и редактировать код без лишних зависимостей.
★ 999 · CSELFHOST AI: ОДНОЙ КОМАНДОЙ
Развёртывайте n8n, Ollama, Flowise, RAG и более 30 инструментов одной командой с автоматическим HTTPS.
★ 963 · ShellJEVOS: БИНАРНЫЕ РЕШЕНИЯ НА НОУТБУКЕ
Jevos — открытая альтернатива Jev для решений да/нет. Работает полностью локально на CPU через FastAPI. Данные не покидают устройство.
★ 963 · Pythonawesome-openclaw - ИИ АГЕНТ ДЛЯ ЧАТОВ
Кураторский список ресурсов, инструментов и гайдов по OpenClaw — самодостаточному ИИ‑агенту для WhatsApp, Telegram, Discord и 50+ интеграций.
★ 956Какую локальную LLM выбрать?
Найдите локальную модель с лучшей производительностью на вашем оборудовании по реальным бенчмаркам, а не по количеству параметров. Одна команда — мгновенный запуск.
★ 947 · PythonЛОКАЛЬНЫЙ ХУМАНАЙЗЕР AI‑ЧЕРНОВИКОВ
Проект перефразирует черновики, созданные ИИ, так чтобы они звучали как написанные человеком, сохраняя все факты. Работает полностью локально, без отправки данных в облак
★ 935 · PythonПОКЕКЛОУ AI НА АНКДРОИД
PokeClaw — первое локальное AI‑агенты для управления Android без облака и API‑ключей, построенное на Gemma 4. Управляй телефоном голосом и жестами прямо на устройстве.
★ 872 · KotlinAI-агент для разработки игр
Настольное приложение с AI-агентом для создания игр в Unreal Engine, Unity, Godot и браузере. Агент сам настраивает движок, собирает билд и тестирует игру.
★ 872 · TypeScriptINCARNAMIND AI ЧАТ С ДОКУМЕНТАМИ
Бесплатное десктоп‑приложение для macOS, Windows и Linux, позволяющее задавать вопросы по документам и получать ответы с точными ссылками на страницы. IncarnaMind проверя
★ 858 · TypeScriptMCP-КЛИЕНТ ДЛЯ ЛОКАЛЬНЫХ LLM
TUI-клиент для Ollama с поддержкой всех MCP-примитивов, агентным режимом, мультисерверностью и потоковым выводом. 749 ⭐
★ 836 · PythonЛокальный ИИ-агент для чатов
Бесплатный агент для чатов с локальным ИИ. Работает без облака, сохраняя приватность и полный контроль над данными.
★ 783 · PythonNORNICDB: УЛЬТРАБЫСТРАЯ ГРАФОВЕКТОРНАЯ БД
Распределённая БД с суб-мс поиском HNSW, графовым обходом и поддержкой Neo4j Bolt/Cypher + Qdrant gRPC.
★ 753 · GoMLX-DSPARK: УСКОРЕНИЕ LLM В 4X
Портативный MLX-порт DeepSeek DSpark и z‑lab DFlash для ускорения декодирования LLM на Apple Silicon до 4× без потери качества.
★ 740 · PythonJANAS: БЫСТРЫЙ ИНФЕРЕНС LLM
janas запускает huge LLM (до 48 ГБ) на ноутбуке 32 ГБ, обгоняя llama.cpp в 8‑10 раз. На Qwen3-Next-80B даёт 37 ток/сек без draft и 62 ток/сек при чтении GGUF. Поддерживае
★ 712 · CSMOLMAXXING: LLM НА МИКРОКОНТРОЛЛЕРАХ
Библиотека на C для запуска LLM на микроконтроллерах и слабом железе. Альтернатива llama.cpp с фокусом на минимальный расход памяти. Поддерживает квантование и разные арх
★ 691 · CSLOTSTREAM ЗАПУСКАЕТ QWEN3.8 НА МАК
Запустите Qwen3.8‑Flash‑Next (125B MoE, 104 ГБ в 4‑бит) на Mac, загружая эксперты по требованию с SSD. Реализовано на MLX + Swift, предоставляет API, совместимый с Ollama
★ 673 · SwiftПул устройств для LLM
Проект позволяет объединять вычислительные мощности браузеров пользователей для запуска больших открытых языковых моделей непосредственно в браузере, обеспечивая работу ч
★ 649 · JavaScriptOLLITERT LLM СЕРВЕР ANDROID
OlliteRT превращает Android‑смартфон в локальный OpenAI‑совместимый LLM‑сервер. Работает полностью офлайн, гарантируя конфиденциальность и открытый код на Kotlin.
★ 633 · KotlinObsidian LLM Wiki локально
Полностью локальная вики для Obsidian через Ollama. Загрузите Markdown-заметки — AI извлечёт концепции и автоматически свяжет вашу базу знаний. Нулевой обмен данными.
★ 625 · PythonVELA — AI ПИШЕТ РОМАНЫ
AI-powered IDE с локальными LLM, RAG и полной приватностью для авторов веб-фикшена.
★ 590 · TypeScriptСВОИ AI-АГЕНТЫ В МЕССЕНДЖЕРАХ
abacusai-bot — 100% бесплатный open-source фреймворк для запуска персональных AI-агентов в Telegram, WhatsApp и CLI. Написан на TypeScript, поддерживает инструменты, код
★ 557 · TypeScriptASKIMO: ИИ-КЛИЕНТ ДЛЯ ЧАТА
askimo — универсальный AI-клиент на Kotlin с поддержкой чата, RAG, планов и агентов через множественные провайдеры моделей.
★ 549 · KotlinЛокальная AI-рабочая станция для творчества
Полноценная полностековая платформа с 5 модулями (чат, комиксы, манхва, письмо, знания) для запуска LLM локально на vLLM, llama.cpp и Transformers с умным управлением VRA
★ 535 · PythonЛОКАЛЬНЫЙ AI БЕЗ ОБЛАКА
Hob — открытый десктопный клиент для запуска моделей Gemma и gpt-oss локально на Mac, Windows и Linux. Работает офлайн, данные не уходят в облако. Бесплатная альтернатива
★ 535 · TypeScriptЗАПУСК DEEPSEEK-V4.1 552B НА ОДНОМ ПК
Xolotl — движок для запуска крупных MoE-моделей (DeepSeek-V4.1-Flash 552B, GLM-5.3-Flash, Qwen3.8, LFM3-Omni) на одном ПК с RTX 4090. Обеспечивает 33 ток/с на агентских з
★ 534 · C++ЛОКАЛЬНЫЙ AI БЕЗ ЦЕНЗУРЫ
Десктопное приложение с чатом, агентом, генерацией изображений и видео. Один .exe, без Docker. 518 ⭐
★ 518 · TypeScriptCOREAI-MODEL-ZOO
Модельный зоопарк для Apple Core AI с конвертацией Qwen3.5 и Gemma 4, кастомными Metal-ядрами и раннером на Swift.
★ 465 · SwiftЭВОЛЮЦИОНИРУЮЩИЙ АГЕНТ ДЛЯ КОМАНД
Директор‑агент изучает работу команды через CLAUDE.md и связанные утверждения памяти, формирует план и поручает задачи Claude Code или локальным моделям. Уроки сохраняютс
★ 458 · TypeScriptЛОКАЛЬНЫЙ SPEECH-TO-SPEECH АССИСТЕНТ НА GPU
Полностью локальный голосовой ассистент с задержкой ~0.23с от конца фразы до ответа. Работает на AMD/Nvidia GPU под Windows и Linux без отправки аудио в облако.
★ 448 · PythonARENO - УСКОРЯЕМ RL НА ОДНОМ УЗЛЕ
ARENO упрощает масштабирование пост‑обучения RL на одном узле, обеспечивая высокую скорость и минимальную настройку.
★ 389 · PythonНовые проекты по теме — в Telegram
Telegram →