R_REDDYX.XYZ
DevToolsPython★ 57,640⑂ 7,627 форковApache-2.0

zylon-ai/private-gpt

API СЛОЙ ДЛЯ ЛОКАЛЬНЫХ AI ПРИЛОЖЕНИЙ

PrivateGPT — открытый API-слой для создания приватных AI-приложений на локальных моделях. Подключается к любому OpenAI-совместимому серверу инференса и предоставляет RAG, инструменты, MCP и структурированный доступ к данным.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • RAG с цитировками и агентским поиском
  • Встроенные инструменты: веб-поиск, код, загрузка страниц
  • Поддержка MCP-коннекторов и кастомных инструментов
  • Работа с БД и CSV через структурированный API

// РАЗБОР: КАК ЭТО РАБОТАЕТ

PrivateGPT не запускает модели, а работает как API-прокси: приложение обращается по Anthropic API, PrivateGPT перенаправляет запросы к OpenAI-совместимому серверу (Ollama, llama.cpp, vLLM) через OPENAI_API_BASE. Есть веб-интерфейс /ui для демо, но основной продукт — API.

В отличие от фреймворков, даёт готовые примитивы: API сообщений со стримингом, ingestion файлов, RAG с цитировками и агентским режимом, встроенные инструменты (веб-поиск, fetch, код) в стиле Claude API, MCP-коннекторы, кастомные инструменты, структурированный доступ к БД/CSV. Проверено в продакшене платформой Zylon.

Требуется LLM-сервер (Ollama) и модели: LLM ~24 Гб, эмбеддинги ~670 Мб. Установка через Homebrew (macOS) или uv + Python 3.11 (Linux/Windows). Работает на macOS, Linux, Windows. Ключи API для локальных серверов не нужны.

// СЦЕНАРИИ ИСПОЛЬЗОВАНИЯ

Кому пригодится: Разработчикам бэкенда для приватных AI-продуктов без облачных API

  • Создавать приватные чат-боты с RAG над внутренними документами
  • Подключать локальные LLM к Claude Desktop и IDE через MCP
  • Строить AI-агентов с веб-поиском и выполнением кода без облака
#ai#ai-tools#on-premise
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

БЫСТРЫЙ AI-ПОИСКОВЫЙ ДВИЖОК★ 59884САМОХОСТИНГ GIT-СЕРВИС НА GO★ 47943DeepSpeed: библиотека оптимизации обучения★ 43332ФРЕЙМВОРК ДЛЯ ДЕШЁВОГО ОБУЧЕНИЯ БОЛЬШИХ МОДЕЛЕЙ★ 41422ОТКРЫТЫЙ ИНСТРУМЕНТ ДИЗАЙНА В КОДЕ★ 27239ВЫСОКОПРОИЗВОДИТЕЛЬНЫЙ ФРЕЙМВОРК ИНФЕРЕНСА ДЛЯ МОБИЛЬНЫХ★ 24068

← ВЕСЬ КАТАЛОГ

zylon-ai/private-gpt — API слой для локальных AI приложений