Llamacpp: open-source проекты на GitHub
33 репозиториев по теме Llamacpp, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.
// СМЕЖНЫЕ ТЕМЫ
Jan: офлайн чат GPT
Открытый аналог ChatGPT, работающий полностью офлайн на вашем ПК без интернета.
★ 42,498 · TypeScriptВаш AI второй мозг
Самохостируемый AI-ассистент, который ищет в вебе и ваших документах, создает агенты и автоматизирует исследования.
★ 34,538 · PythonLLMware: RAG-фреймворк
Унифицированный фреймворк для построения корпоративных RAG-пайплайнов с использованием компактных специализированных моделей.
★ 14,860 · PythonНабор SDK для локального ИИ
Готовый к продакшену инструментарий для запуска ИИ-моделей на локальном устройстве.
★ 10,350 · C++XINFERENCE - ЛЮБАЯ LLM В ОДНУ СТРОКУ
Замените GPT на любую открытую модель, изменив одну строку кода. Запускайте LLM, мультимодальные и speech-модели через единый production-ready API.
★ 9,318 · PythonAI РАМКА ДЛЯ УСТРОЙСТВ
Этот проект предлагает low-bit quant kernels и runtime для consumer устройств. Поддержка Android, ARM и edge-ai фреймворков.
★ 6,192 · C++Эффективный ИИ для мобильных устройств
Движок искусственного интеллекта с минимальной задержкой для смартфонов и носимых устройств.
★ 4,949 · CLLAMA-SWAP - НАДЁЖНАЯ ЗАМЕНА МОДЕЛЕЙ
Утилита для бесшовной замены моделей на локальных серверах (llama.cpp, vLLM и др.)
★ 4,328 · GoGPTME: ТВОЙ АГЕНТ В ТЕРМИНАЛЕ
Автономный агент в терминале на Python, пишет код, управляет командной строкой и серфит в интернете. Создавай свои персистентные ИИ‑ассистенты за минуты!
★ 4,314 · PythonSPARK-NLP - РЕВОЛЮЦИЯ В NLP
Spark NLP предоставляет передовые модели NLP и готовые пайплайны для масштабируемой обработки текста на Scala.
★ 4,163 · ScalaLLAMASHARP - ЛОКАЛЬНЫЙ LLM НА C#
Библиотека на C#/.NET для эффективного запуска LLM моделей LLaMA и LLaVA на локальном устройстве.
★ 3,826 · C#БЕСПЛАТНЫЙ AI-КОД ДЛЯ VS CODE КАК COPILOT
Плагин для VS Code с AI-комплитом как Copilot, но бесплатно и локально. Поддерживает Llama, GPT, Claude.
★ 3,699 · TypeScriptБОНСАЙ ДЕМО ШЕЛЛ ИНСТРУМЕНТ
Мини‑демо проекта Bonsai на Shell — показывает, как быстро автоматизировать задачи с помощью простых скриптов.
★ 3,523 · ShellAGiXT: АВТОМАТИЗАЦИЯ AI-АГЕНТОВ
Платформа для оркестрации AI-агентов с адаптивной памятью, плагинами и поддержкой множества AI-провайдеров.
★ 3,192 · PythonRAMALAMA ЛЕГКИЙ ЗАПУСК AI
RamaLama — открытый инструмент на Python, который позволяет быстро запускать любые AI‑модели в контейнерах и использовать их для инференса в продакшене.
★ 2,872 · PythonЛОКАЛЬНЫЕ AI МОДЕЛИ НА RUST
Мгновенные и управляемые предобученные AI модели, работающие локально. 2205 звёзд — проект набирает популярность.
★ 2,236 · RustЛОКАЛЬНЫЙ AI-АГЕНТ С ОТКРЫТЫМ ИСКОДНИКОМ
Atomic-Chat — приватный AI-движок для локального запуска LLM без интернета. Полностью offline на вашем компьютере. ⭐ 967 звёзд на GitHub.
★ 2,008 · TypeScriptPADDLER - ПРОСТОЙ БАЛАНСИРОВЩИК LLM
Открытый балансировщик и платформа для сервиса LLM/VLM на Rust, работающий на CPU и GPU с минимальными зависимостями.
★ 1,693 · RustGENERATIVE_AI_WITH_LANGCHAIN - ПОСТРОЙ ПРОДАКШН LLM
Ноутбуки для создания production-ready LLM-приложений и агентов на LangChain и LangGraph. Практические примеры из книги по generative AI.
★ 1,459 · Jupyter NotebookOLLAMA SHARP: ЛЕГКИЙ ДОСТУП К ИИ
OllamaSharp — простая библиотека .NET для интеграции с локальными моделями Ollama, позволяющая быстро отправлять запросы и получать ответы.
★ 1,414 · C#WLLAMA: LLM В БРАУЗЕРЕ БЕЗ СЕРВЕРА
WebAssembly биндинг для llama.cpp позволяет запускать большие языковые модели прямо в браузере.
★ 1,392 · TypeScriptSPARK-X2.6: АГЕНТЫ НА УСТРОЙСТВЕ
Открытая серия моделей Spark-x2.5 с фокусом на агентские способности. Работают локально на устройстве без облака. 814 звёзд на GitHub.
★ 911LLM-LSP СЕРВЕР ДЛЯ АВТОДОПОЛНЕНИЯ
llm-ls — LSP-сервер на Rust, который подключает большие языковые модели к любому редактору для умного автодополнения и генерации кода. Работает с локальными моделями чере
★ 887 · RustXYBRID: AI НА УСТРОЙСТВЕ
xybrid — framework для создания приложений с on‑device AI на Rust.
★ 524 · RustYZMA: ЛОКАЛЬНЫЙ LLM В GO
Интеграция llama.cpp в Go-приложения для локального инференса с аппаратным ускорением. 496 звёзд на GitHub.
★ 496 · GoImageIndexer: Автотегирование фото через LLM
Индексирует изображения, отправляет запросы в локальную LLM и автоматически добавляет теги в метаданные файлов.
★ 400 · PythonЛОКАЛЬНЫЙ LLM ДЛЯ HOME ASSISTANT
Интеграция LLM в Home Assistant для локальных OpenAI-совместимых серверов (llamacpp, vllm и др.)
★ 313 · PythonЛЛАМАСТЭШ ТЕРМИНАЛЬНЫЙ LLM МЕНЕДЖЕР
llamastash — терминальный менеджер локальных LLM без накладных расходов. Запускает, контролирует и направляет модели GGUF через единый OpenAI‑совместимый endpoint.
★ 299 · RustОФФЛАЙН LLM НА АНДРОИД: ПОЛНАЯ ПРИВАТНОСТЬ
OfflineLLM запускает любые GGUF-модели локально через llama.cpp с ARM-оптимизацией. Никаких сетевых разрешений: настройки зашифрованы, есть биометрическая блокировка и за
★ 291 · KotlinНЕ ОЛЛАМА — мнение не придерживаюсь
Auto-tuned launcher для GGUF моделей на llama.cpp — сервер с поддержкой нескольких GPU, настройкой под железо и восстановлением после крашей. Звёздочек: 226.
★ 284 · GoLLAMA_ROS ROS 2 LLM
Проект объединяет llama.cpp и llava.cpp с ROS 2, позволяя использовать GGUF-модели для робототехники в реальном времени.
★ 268 · C++CLIO - AI АГЕНТ КОДИНГ
CLIO — ИИ-ассистент для терминала, поддерживающий множество провайдеров и моделей, ускоряющий написание кода.
★ 233 · PerlJANGQ — КВАНТОВАНИЕ ДЛЯ APPLE SILICON
JANG — адаптивное смешанно‑точное квантование моделей GGUF для MLX на Apple Silicon. Требует использование runtime JANG_Q для максимальной производительности.
★ 233 · PythonНовые проекты по теме — в Telegram
Telegram →