zylon-ai/private-gpt
API СЛОЙ ДЛЯ ЛОКАЛЬНЫХ AI ПРИЛОЖЕНИЙ
PrivateGPT — открытый API-слой для создания приватных AI-приложений на локальных моделях. Подключается к любому OpenAI-совместимому серверу инференса и предоставляет RAG, инструменты, MCP и структурированный доступ к данным.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- RAG с цитировками и агентским поиском
- Встроенные инструменты: веб-поиск, код, загрузка страниц
- Поддержка MCP-коннекторов и кастомных инструментов
- Работа с БД и CSV через структурированный API
// РАЗБОР: КАК ЭТО РАБОТАЕТ
PrivateGPT не запускает модели, а работает как API-прокси: приложение обращается по Anthropic API, PrivateGPT перенаправляет запросы к OpenAI-совместимому серверу (Ollama, llama.cpp, vLLM) через OPENAI_API_BASE. Есть веб-интерфейс /ui для демо, но основной продукт — API.
В отличие от фреймворков, даёт готовые примитивы: API сообщений со стримингом, ingestion файлов, RAG с цитировками и агентским режимом, встроенные инструменты (веб-поиск, fetch, код) в стиле Claude API, MCP-коннекторы, кастомные инструменты, структурированный доступ к БД/CSV. Проверено в продакшене платформой Zylon.
Требуется LLM-сервер (Ollama) и модели: LLM ~24 Гб, эмбеддинги ~670 Мб. Установка через Homebrew (macOS) или uv + Python 3.11 (Linux/Windows). Работает на macOS, Linux, Windows. Ключи API для локальных серверов не нужны.
// СЦЕНАРИИ ИСПОЛЬЗОВАНИЯ
Кому пригодится: Разработчикам бэкенда для приватных AI-продуктов без облачных API
- Создавать приватные чат-боты с RAG над внутренними документами
- Подключать локальные LLM к Claude Desktop и IDE через MCP
- Строить AI-агентов с веб-поиском и выполнением кода без облака
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram