Llama Cpp: open-source проекты на GitHub
49 репозиториев по теме Llama Cpp, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.
// СМЕЖНЫЕ ТЕМЫ
ODS - ТВОЙ AI СЕРВЕР ДОМА
ODS превращает любой компьютер в мощный AI‑сервер: LLM‑инференс, чат, голос, агенты, RAG и генерация изображений.
★ 7,832 · ShellДИГАП ПОИСК ПО СОДЕРЖИМОМУ ФАЙЛОВ
DigUp индексирует ваши локальные файлы — фото, PDF, видео, аудио и код — и позволяет находить их по смыслу запроса. Поиск выполняется на устройстве с помощью модели Embed
★ 6,418 · SwiftLLAMASHARP - ЛОКАЛЬНЫЙ LLM НА C#
Библиотека на C#/.NET для эффективного запуска LLM моделей LLaMA и LLaVA на локальном устройстве.
★ 3,826 · C#ATOMIC AGENT: ЛОКАЛЬНЫЙ ИИ
Локальный ИИ‑агент atomic-agent работает полностью на вашем устройстве, поддерживает длинный контекст и точный вызов инструментов.
★ 3,682 · TypeScriptOGAM ОФЛАЙН AI ШВЕЙЦАРСКИЙ НОЖ
OGAM — чат, зрение, речь и генерация изображений офлайн на вашем устройстве без ключей и данных в сети.
★ 3,380 · TypeScriptMAID: УПРАВЛЯЙ ИИ-МОДЕЛЯМИ
Бесплатный инструмент для работы с локальными и удалёнными LLM: llama.cpp, Anthropic, DeepSeek и др.
★ 2,776 · TypeScriptЗАПУСКАЙ LLM ЛОКАЛЬНО В NODE.JS
Запускайте AI-модели прямо на своём компьютере через node.js. Принудительная валидация JSON-схемы прямо на уровне генерации.
★ 2,205 · TypeScriptLucebox Hub
Высокоскоростной сервер для локального запуска LLM на потребительском оборудовании. На С++ для максимальной производительности.
★ 2,167 · C++МИКРО-АГЕНТЫ НАБЛЮДАЮТ ЗА ЭКРАНОМ
Observer — фреймворк локальных микро-агентов на TypeScript. Они следят за экраном и автоматизируют рутину без облака. 1663 звезды на GitHub.
★ 1,803 · TypeScriptSTARTLUX‑DECISION: ИИ РЕШЕНИЙ
Открытые модели принятия решений от 0,8 B до 27 B дают откалиброванную вероятность каждого варианта за один проход и краткий размышления только при неуверенности. Поддерж
★ 1,745 · PythonФреймворк для LLM-агентов
Python-фреймворк для локальных LLM-агентов с поддержкой вызова инструментов и многошаговыми агентными воркфлоу.
★ 1,661 · PythonГОЛОСОВОЙ АССИСТЕНТ ДЛЯ MAC
Wally позволяет голосом управлять Mac и искать в локальных документах без выхода в интернет. Работает на Apple Silicon, использует оффлайн LLM через llama.cpp и RAG‑поиск
★ 1,571 · C++RCLI — Голосовой ИИ
Голосовой ИИ с RAG без облака: общайтесь с Mac и запрашивайте документы локально.
★ 1,507 · C++ПРИВАТНЫЕ AI ЗАМЕТКИ ВСТРЕЧ
yogurt — приватные заметки совещаний на базе локального AI. Работает офлайн через llama.cpp, данные не покидают устройство.
★ 1,451 · TypeScriptЗАПУСКАЕМ 284B LLM НА CPU БЕЗ GPU
llama-modchip запускает DeepSeek-V4-Flash 284B на чистом CPU 64GB RAM: 44.4 tok/s префилл, 9-14 tok/s генерация. 30B MoE модели до 111 tok/s. Контекст 256K, восстановлени
★ 1,234 · PythonМОДЕЛИ БОЛЬШЕ VRAM НА SSD
inferssd запускает MoE-модели, превышающие RAM и VRAM, стримя экспертов с SSD. Построен на llama.cpp, поддерживает GGUF, CUDA и Apple Silicon. 288 звёзд на GitHub.
★ 1,108 · C++LLAMA ТЕПЕРЬ В REACT NATIVE
llama.rn — это React Native биндинг для llama.cpp, позволяющий запускать LLM-модели прямо на мобильных устройствах. 981 звезда на GitHub.
★ 1,074 · C++SiliconScope — Мониторинг Apple Silicon
Нативный монитор системы Apple Silicon на SwiftUI без sudo: отслеживание ANE, Media Engine и пропускной способности памяти.
★ 1,024 · SwiftHAX МИНИМАЛИСТИЧНЫЙ ТЕРМИНАЛЬНЫЙ АГЕНТ
Минималистичный coding-агент на C, работающий прямо в терминале. Позволяет писать и редактировать код без лишних зависимостей.
★ 999 · CJEVOS: БИНАРНЫЕ РЕШЕНИЯ НА НОУТБУКЕ
Jevos — открытая альтернатива Jev для решений да/нет. Работает полностью локально на CPU через FastAPI. Данные не покидают устройство.
★ 963 · PythonЛОКАЛЬНЫЙ ХУМАНАЙЗЕР AI‑ЧЕРНОВИКОВ
Проект перефразирует черновики, созданные ИИ, так чтобы они звучали как написанные человеком, сохраняя все факты. Работает полностью локально, без отправки данных в облак
★ 935 · PythonBIGMOEONEDGE - СУПЕР МОЭ НА ТЕЛЕФОНЕ
Проект позволяет запускать модели Mixture‑of‑Experts размером 284 B на устройстве с 12 ГБ ОЗУ, используя только CPU и llama.cpp без потери точности.
★ 855 · C++LLM НА PS5: LLAMA.CPP НАТИВНО
Проект PS5LM портирует llama.cpp на взломанную PlayStation 5. Запускает любые GGUF-модели нативно на консоли, включая Qwen 3.8. 668 звёзд на GitHub, написан на C++.
★ 846 · C++SMOLMAXXING: LLM НА МИКРОКОНТРОЛЛЕРАХ
Библиотека на C для запуска LLM на микроконтроллерах и слабом железе. Альтернатива llama.cpp с фокусом на минимальный расход памяти. Поддерживает квантование и разные арх
★ 691 · CRUN ANY AGENT ON ANY MODEL
llmman позволяет запускать любые AI‑агенты на любой модели, хранящейся в виде OCI‑образов. Поддерживает Claude Code, Codex, llama.cpp, MLX и другие популярные LLM‑фреймво
★ 590 · RustORIVEO МУЛЬТИМОДЕЛЬНЫЙ ЧАТ
Open-source клиент чата с BYOK для iOS, Android и веба. Поддерживает OpenAI, Anthropic, Gemini и другие совместимые провайдеры, включая Ollama, LM Studio, llama.cpp, vLLM
★ 563 · SwiftЛокальная AI-рабочая станция для творчества
Полноценная полностековая платформа с 5 модулями (чат, комиксы, манхва, письмо, знания) для запуска LLM локально на vLLM, llama.cpp и Transformers с умным управлением VRA
★ 535 · PythonЛОКАЛЬНЫЙ AI БЕЗ ОБЛАКА
Hob — открытый десктопный клиент для запуска моделей Gemma и gpt-oss локально на Mac, Windows и Linux. Работает офлайн, данные не уходят в облако. Бесплатная альтернатива
★ 535 · TypeScriptDreamServer: Локальный AI
DreamServer — открытый проект для локального запуска LLM с чат‑интерфейсом, голосовым управлением, агентами, workflows, RAG и генерацией изображений, работающий без облак
★ 523 · PythonAudar-ASR-V1: генеративный ASR
Проект представляет Arabic-first генеративную систему распознавания речи с моделями Flash и Turbo, занимающую первое место в лидерборде Open Universal Arabic ASR. Включае
★ 503 · PythonCOTABBY AI АВТОКОМПЛИТ МАК
Локальный ИИ-аутокомплемент для всего Mac — работает оффлайн, везде где печатаешь, открытый исходник на Swift.
★ 395 · SwiftLLAMAMPERE: УСКОРЕНИЕ LLM НА RTX 3090
Форк llama.cpp с оптимизацией под Ampere GPU. Даёт 110+ токенов/с на Qwen 3.8 при 100K контексте. Работает на 12 ГБ VRAM с 200K+ контекстом.
★ 380 · C++STRIX HALO LLM НАСТРОЙКА
Руководство по LLM на Ryzen AI MAX+ 395 и Radeon 8060S через Ollama, llama.cpp и ROCm. Достигаем 100 токен/с 30B Qwen и 140 токен/с CHADROCK MTP.
★ 373 · PythonLOCALMIND: ОФЛАЙН ЧАТ С LLM
Localmind — мобильное приложение на Dart/Flutter для работы с локальными LLM и серверами ИИ без утечки данных. Обеспечивает быстрый чат, поддержку моделей Gemma и совмест
★ 326 · DartCARWATCH AI-АГЕНТ АВТО
CarWatch превращает Raspberry Pi 5, видеорегистратор и локальный ИИ в чат-агент для машины. Общайтесь с автомобилем, получайте данные и управляйте функциями в реальном вр
★ 305 · PythonGPU ПО ОЧЕРЕДИ БЕЗ КРАШЕЙ
Berth арендует видеокарту движкам чата, изображений и голоса по очереди. Два процесса никогда не загрузятся вместе и не уронят друг друга. Один бинарник на Go, зависимост
★ 297 · GoTURBO LLM: ОФФЛАЙН С ИИ
Запускай любую локальную LLM, автонастройка под GPU, веб‑интерфейс и API совместимый с OpenAI/Anthropic.
★ 296 · TypeScriptНЕ ОЛЛАМА — мнение не придерживаюсь
Auto-tuned launcher для GGUF моделей на llama.cpp — сервер с поддержкой нескольких GPU, настройкой под железо и восстановлением после крашей. Звёздочек: 226.
★ 284 · GoLLMKUBE: LLM В KUBERNETES
LLMKube - оператор Kubernetes для LLM‑инференса на смешанном GPU‑флоте: NVIDIA CUDA, AMD Vulkan, Apple Silicon Metal. Поддерживает llama.cpp, vLLM, TGI, mlx-server, мульт
★ 266 · GoTOSHLLM: ЗАПУСК LLM НА MAC
TOSHLLM — нативное macOS приложение на Swift, которое запускает большие языковые модели локально на Intel‑Mac с AMD GPU, используя ускорение Metal. Поддерживает llama.cpp
★ 258 · SwiftРАСШИРЕНИЕ БРАУЗЕРА ДЛЯ ЛОКАЛЬНОГО ПЕРЕВОДА
Расширение для Chrome и Firefox, переводящее страницы, PDF, субтитры и вводимый текст локально через модель PLaMo. Работает без сервера, аккаунтов и телеметрии.
★ 253 · TypeScriptSCREENMIND - ТВОЯ ПАМЯТЬ ЭКРАНА
Запоминает экран, ищет по содержимому и чатится с ИИ локально.
★ 249 · PythonАЛБАТРОСС: ОТКРЫТЫЙ ИИ АГЕНТ
Albatross — открытый терминальный AI‑агент с прозрачным мультимодельным роутингом. Работает локально через Ollama, LM Studio, MLX или в облаке, используя ваши ключи.
★ 244 · RustPURE-RUST ДВИЖОК ДЛЯ QWEN GGUF
RustingStrata — чисто на Rust движок вывода для Qwen GGUF (Qwen3–3.8, MoE до 770B+). Поддерживает CUDA/Vulkan, гибрид CPU+GPU, MTP спекулятивное декодирование. До 1.7x ll
★ 231 · RustON-DEVICE AI SDK KOTLIN
Llamatik — on-device AI SDK для Kotlin Multiplatform (Android, iOS, Desktop, JVM, WASM). Поддерживает LLM inference, Speech-to-Text, генерацию изображений, Agent Framewor
★ 220 · KotlinETOS-LLM-STUDIO: AI-ПОМОЩНИК НА iOS
Нативный LLM‑клиент для iOS и Apple Watch: запускай локальные GGUF‑модели через llama.cpp либо подключайся к OpenAI, Claude, Gemini. Есть локальный RAG, MCP‑инструменты,
★ 219 · SwiftCLAWMEM ПАМЯТЬ ДЛЯ ИИ-АГЕНТОВ
ClawMem — локальный слой памяти для AI‑агентов, работающий с Claude Code, OpenClaw и Hermes. Он предоставляет хуки, MCP‑сервер и гибридный RAG‑поиск для быстрого доступа
★ 212 · TypeScriptСамостоятельный шлюз LLM
Один бинарник Go превращает ваши Mac и Linux‑машины в приватный кластер инференса с мульти‑машинным роутингом, шардингом через llama.cpp‑RPC и поддержкой API OpenAI и Ant
★ 38 · GoMEMRA - ИИ УСКОРИТЕЛЬ ДЛЯ RTX
Memra — это реализация inference LLM с нуля, оптимизированная под архитектуры RTX 5090 (sm_120a) и H100 (sm_90a) на Rust.
★ 6 · RustНовые проекты по теме — в Telegram
Telegram →