R_REDDYX.XYZ

Llama Cpp: open-source проекты на GitHub

49 репозиториев по теме Llama Cpp, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.

// СМЕЖНЫЕ ТЕМЫ

LLM 2064Gguf 45Local LLM 102Self Hosted 348Local AI 73Ollama 237Inference 88On Device AI 37RAG 507Android 105Cuda 46Metal 31Privacy 86Llama 106
Osmantic/ODS

ODS - ТВОЙ AI СЕРВЕР ДОМА

ODS превращает любой компьютер в мощный AI‑сервер: LLM‑инференс, чат, голос, агенты, RAG и генерация изображений.

★ 7,832 · Shell
ARahim3/DigUp

ДИГАП ПОИСК ПО СОДЕРЖИМОМУ ФАЙЛОВ

DigUp индексирует ваши локальные файлы — фото, PDF, видео, аудио и код — и позволяет находить их по смыслу запроса. Поиск выполняется на устройстве с помощью модели Embed

★ 6,418 · Swift
SciSharp/LLamaSharp

LLAMASHARP - ЛОКАЛЬНЫЙ LLM НА C#

Библиотека на C#/.NET для эффективного запуска LLM моделей LLaMA и LLaVA на локальном устройстве.

★ 3,826 · C#
AtomicBot-ai/atomic-agent

ATOMIC AGENT: ЛОКАЛЬНЫЙ ИИ

Локальный ИИ‑агент atomic-agent работает полностью на вашем устройстве, поддерживает длинный контекст и точный вызов инструментов.

★ 3,682 · TypeScript
off-grid-ai/OGAM

OGAM ОФЛАЙН AI ШВЕЙЦАРСКИЙ НОЖ

OGAM — чат, зрение, речь и генерация изображений офлайн на вашем устройстве без ключей и данных в сети.

★ 3,380 · TypeScript
Mobile-Artificial-Intelligence/maid

MAID: УПРАВЛЯЙ ИИ-МОДЕЛЯМИ

Бесплатный инструмент для работы с локальными и удалёнными LLM: llama.cpp, Anthropic, DeepSeek и др.

★ 2,776 · TypeScript
withcatai/node-llama-cpp

ЗАПУСКАЙ LLM ЛОКАЛЬНО В NODE.JS

Запускайте AI-модели прямо на своём компьютере через node.js. Принудительная валидация JSON-схемы прямо на уровне генерации.

★ 2,205 · TypeScript
Luce-Org/lucebox-hub

Lucebox Hub

Высокоскоростной сервер для локального запуска LLM на потребительском оборудовании. На С++ для максимальной производительности.

★ 2,167 · C++
Roy3838/Observer

МИКРО-АГЕНТЫ НАБЛЮДАЮТ ЗА ЭКРАНОМ

Observer — фреймворк локальных микро-агентов на TypeScript. Они следят за экраном и автоматизируют рутину без облака. 1663 звезды на GitHub.

★ 1,803 · TypeScript
StartLuxLabs/StartLux-Decision

STARTLUX‑DECISION: ИИ РЕШЕНИЙ

Открытые модели принятия решений от 0,8 B до 27 B дают откалиброванную вероятность каждого варианта за один проход и краткий размышления только при неуверенности. Поддерж

★ 1,745 · Python
antoinezambelli/forge

Фреймворк для LLM-агентов

Python-фреймворк для локальных LLM-агентов с поддержкой вызова инструментов и многошаговыми агентными воркфлоу.

★ 1,661 · Python
RunanywhereAI/wally

ГОЛОСОВОЙ АССИСТЕНТ ДЛЯ MAC

Wally позволяет голосом управлять Mac и искать в локальных документах без выхода в интернет. Работает на Apple Silicon, использует оффлайн LLM через llama.cpp и RAG‑поиск

★ 1,571 · C++
RunanywhereAI/RCLI

RCLI — Голосовой ИИ

Голосовой ИИ с RAG без облака: общайтесь с Mac и запрашивайте документы локально.

★ 1,507 · C++
FrigadeHQ/yogurt

ПРИВАТНЫЕ AI ЗАМЕТКИ ВСТРЕЧ

yogurt — приватные заметки совещаний на базе локального AI. Работает офлайн через llama.cpp, данные не покидают устройство.

★ 1,451 · TypeScript
synchopate/llama-modchip

ЗАПУСКАЕМ 284B LLM НА CPU БЕЗ GPU

llama-modchip запускает DeepSeek-V4-Flash 284B на чистом CPU 64GB RAM: 44.4 tok/s префилл, 9-14 tok/s генерация. 30B MoE модели до 111 tok/s. Контекст 256K, восстановлени

★ 1,234 · Python
wici-ai/inferssd

МОДЕЛИ БОЛЬШЕ VRAM НА SSD

inferssd запускает MoE-модели, превышающие RAM и VRAM, стримя экспертов с SSD. Построен на llama.cpp, поддерживает GGUF, CUDA и Apple Silicon. 288 звёзд на GitHub.

★ 1,108 · C++
mybigday/llama.rn

LLAMA ТЕПЕРЬ В REACT NATIVE

llama.rn — это React Native биндинг для llama.cpp, позволяющий запускать LLM-модели прямо на мобильных устройствах. 981 звезда на GitHub.

★ 1,074 · C++
kennss/SiliconScope

SiliconScope — Мониторинг Apple Silicon

Нативный монитор системы Apple Silicon на SwiftUI без sudo: отслеживание ANE, Media Engine и пропускной способности памяти.

★ 1,024 · Swift
OleksandrChekhovskyi/hax

HAX МИНИМАЛИСТИЧНЫЙ ТЕРМИНАЛЬНЫЙ АГЕНТ

Минималистичный coding-агент на C, работающий прямо в терминале. Позволяет писать и редактировать код без лишних зависимостей.

★ 999 · C
feder-cr/jev

JEVOS: БИНАРНЫЕ РЕШЕНИЯ НА НОУТБУКЕ

Jevos — открытая альтернатива Jev для решений да/нет. Работает полностью локально на CPU через FastAPI. Данные не покидают устройство.

★ 963 · Python
sgaofen/humanizer-local-model

ЛОКАЛЬНЫЙ ХУМАНАЙЗЕР AI‑ЧЕРНОВИКОВ

Проект перефразирует черновики, созданные ИИ, так чтобы они звучали как написанные человеком, сохраняя все факты. Работает полностью локально, без отправки данных в облак

★ 935 · Python
Helldez/BigMoeOnEdge

BIGMOEONEDGE - СУПЕР МОЭ НА ТЕЛЕФОНЕ

Проект позволяет запускать модели Mixture‑of‑Experts размером 284 B на устройстве с 12 ГБ ОЗУ, используя только CPU и llama.cpp без потери точности.

★ 855 · C++
cobanov/PS5LM

LLM НА PS5: LLAMA.CPP НАТИВНО

Проект PS5LM портирует llama.cpp на взломанную PlayStation 5. Запускает любые GGUF-модели нативно на консоли, включая Qwen 3.8. 668 звёзд на GitHub, написан на C++.

★ 846 · C++
hyperionaidev/smolmaxxing

SMOLMAXXING: LLM НА МИКРОКОНТРОЛЛЕРАХ

Библиотека на C для запуска LLM на микроконтроллерах и слабом железе. Альтернатива llama.cpp с фокусом на минимальный расход памяти. Поддерживает квантование и разные арх

★ 691 · C
llmmanorg/llmman

RUN ANY AGENT ON ANY MODEL

llmman позволяет запускать любые AI‑агенты на любой модели, хранящейся в виде OCI‑образов. Поддерживает Claude Code, Codex, llama.cpp, MLX и другие популярные LLM‑фреймво

★ 590 · Rust
oriveo/oriveo

ORIVEO МУЛЬТИМОДЕЛЬНЫЙ ЧАТ

Open-source клиент чата с BYOK для iOS, Android и веба. Поддерживает OpenAI, Anthropic, Gemini и другие совместимые провайдеры, включая Ollama, LM Studio, llama.cpp, vLLM

★ 563 · Swift
Yzw202011/OmniSpace

Локальная AI-рабочая станция для творчества

Полноценная полностековая платформа с 5 модулями (чат, комиксы, манхва, письмо, знания) для запуска LLM локально на vLLM, llama.cpp и Transformers с умным управлением VRA

★ 535 · Python
FrigadeHQ/hob

ЛОКАЛЬНЫЙ AI БЕЗ ОБЛАКА

Hob — открытый десктопный клиент для запуска моделей Gemma и gpt-oss локально на Mac, Windows и Linux. Работает офлайн, данные не уходят в облако. Бесплатная альтернатива

★ 535 · TypeScript
Light-Heart-Labs/DreamServer

DreamServer: Локальный AI

DreamServer — открытый проект для локального запуска LLM с чат‑интерфейсом, голосовым управлением, агентами, workflows, RAG и генерацией изображений, работающий без облак

★ 523 · Python
AudarAI/Audar-ASR-V1

Audar-ASR-V1: генеративный ASR

Проект представляет Arabic-first генеративную систему распознавания речи с моделями Flash и Turbo, занимающую первое место в лидерборде Open Universal Arabic ASR. Включае

★ 503 · Python
FuJacob/cotabby

COTABBY AI АВТОКОМПЛИТ МАК

Локальный ИИ-аутокомплемент для всего Mac — работает оффлайн, везде где печатаешь, открытый исходник на Swift.

★ 395 · Swift
JakeATX/llamAmpere

LLAMAMPERE: УСКОРЕНИЕ LLM НА RTX 3090

Форк llama.cpp с оптимизацией под Ampere GPU. Даёт 110+ токенов/с на Qwen 3.8 при 100K контексте. Работает на 12 ГБ VRAM с 200K+ контекстом.

★ 380 · C++
hogeheer499-commits/strix-halo-guide

STRIX HALO LLM НАСТРОЙКА

Руководство по LLM на Ryzen AI MAX+ 395 и Radeon 8060S через Ollama, llama.cpp и ROCm. Достигаем 100 токен/с 30B Qwen и 140 токен/с CHADROCK MTP.

★ 373 · Python
abdulmominsakib/localmind

LOCALMIND: ОФЛАЙН ЧАТ С LLM

Localmind — мобильное приложение на Dart/Flutter для работы с локальными LLM и серверами ИИ без утечки данных. Обеспечивает быстрый чат, поддержку моделей Gemma и совмест

★ 326 · Dart
ThinkOffApp/CarWatch

CARWATCH AI-АГЕНТ АВТО

CarWatch превращает Raspberry Pi 5, видеорегистратор и локальный ИИ в чат-агент для машины. Общайтесь с автомобилем, получайте данные и управляйте функциями в реальном вр

★ 305 · Python
T-Crypt/berth

GPU ПО ОЧЕРЕДИ БЕЗ КРАШЕЙ

Berth арендует видеокарту движкам чата, изображений и голоса по очереди. Два процесса никогда не загрузятся вместе и не уронят друг друга. Один бинарник на Go, зависимост

★ 297 · Go
mohitsoni48/TurboLLM

TURBO LLM: ОФФЛАЙН С ИИ

Запускай любую локальную LLM, автонастройка под GPU, веб‑интерфейс и API совместимый с OpenAI/Anthropic.

★ 296 · TypeScript
raketenkater/ggrun

НЕ ОЛЛАМА — мнение не придерживаюсь

Auto-tuned launcher для GGUF моделей на llama.cpp — сервер с поддержкой нескольких GPU, настройкой под железо и восстановлением после крашей. Звёздочек: 226.

★ 284 · Go
defilantech/LLMKube

LLMKUBE: LLM В KUBERNETES

LLMKube - оператор Kubernetes для LLM‑инференса на смешанном GPU‑флоте: NVIDIA CUDA, AMD Vulkan, Apple Silicon Metal. Поддерживает llama.cpp, vLLM, TGI, mlx-server, мульт

★ 266 · Go
engeldlgado/toshllm

TOSHLLM: ЗАПУСК LLM НА MAC

TOSHLLM — нативное macOS приложение на Swift, которое запускает большие языковые модели локально на Intel‑Mac с AMD GPU, используя ускорение Metal. Поддерживает llama.cpp

★ 258 · Swift
jammaru/sakutto

РАСШИРЕНИЕ БРАУЗЕРА ДЛЯ ЛОКАЛЬНОГО ПЕРЕВОДА

Расширение для Chrome и Firefox, переводящее страницы, PDF, субтитры и вводимый текст локально через модель PLaMo. Работает без сервера, аккаунтов и телеметрии.

★ 253 · TypeScript
ayushh0110/ScreenMind

SCREENMIND - ТВОЯ ПАМЯТЬ ЭКРАНА

Запоминает экран, ищет по содержимому и чатится с ИИ локально.

★ 249 · Python
morganlinton/Albatross

АЛБАТРОСС: ОТКРЫТЫЙ ИИ АГЕНТ

Albatross — открытый терминальный AI‑агент с прозрачным мультимодельным роутингом. Работает локально через Ollama, LM Studio, MLX или в облаке, используя ваши ключи.

★ 244 · Rust
RustingStudio/RustingStrata

PURE-RUST ДВИЖОК ДЛЯ QWEN GGUF

RustingStrata — чисто на Rust движок вывода для Qwen GGUF (Qwen3–3.8, MoE до 770B+). Поддерживает CUDA/Vulkan, гибрид CPU+GPU, MTP спекулятивное декодирование. До 1.7x ll

★ 231 · Rust
llamatik/Llamatik

ON-DEVICE AI SDK KOTLIN

Llamatik — on-device AI SDK для Kotlin Multiplatform (Android, iOS, Desktop, JVM, WASM). Поддерживает LLM inference, Speech-to-Text, генерацию изображений, Agent Framewor

★ 220 · Kotlin
Eric-Terminal/ETOS-LLM-Studio

ETOS-LLM-STUDIO: AI-ПОМОЩНИК НА iOS

Нативный LLM‑клиент для iOS и Apple Watch: запускай локальные GGUF‑модели через llama.cpp либо подключайся к OpenAI, Claude, Gemini. Есть локальный RAG, MCP‑инструменты,

★ 219 · Swift
yoloshii/ClawMem

CLAWMEM ПАМЯТЬ ДЛЯ ИИ-АГЕНТОВ

ClawMem — локальный слой памяти для AI‑агентов, работающий с Claude Code, OpenClaw и Hermes. Он предоставляет хуки, MCP‑сервер и гибридный RAG‑поиск для быстрого доступа

★ 212 · TypeScript
hadihonarvar/flock

Самостоятельный шлюз LLM

Один бинарник Go превращает ваши Mac и Linux‑машины в приватный кластер инференса с мульти‑машинным роутингом, шардингом через llama.cpp‑RPC и поддержкой API OpenAI и Ant

★ 38 · Go
avifenesh/memra

MEMRA - ИИ УСКОРИТЕЛЬ ДЛЯ RTX

Memra — это реализация inference LLM с нуля, оптимизированная под архитектуры RTX 5090 (sm_120a) и H100 (sm_90a) на Rust.

★ 6 · Rust

Новые проекты по теме — в Telegram

Telegram →
Llama Cpp — 49 open-source проектов на GitHub | REDDYX AI