LLMOps: open-source проекты на GitHub
81 репозиториев по теме LLMOps, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.
// СМЕЖНЫЕ ТЕМЫ
Готовые шаблоны LLM
Готовые облачные шаблоны для RAG, AI‑pipeline и поиска с живыми данными, Docker‑совместимые и синхронные с SharePoint, S3, Kafka и PostgreSQL.
★ 59,750 · Jupyter NotebookЕдиный шлюз LLM
Python SDK и прокси‑сервер для вызова 100+ LLM через OpenAI‑совместимый API с учётом затрат, защиты, балансировки нагрузки и логирования.
★ 46,602 · PythonComposio для ИИ-агентов
Composio дает 1000+ наборов инструментов, поиск, управление контекстом, аутентификацию и песочницу для создания ИИ‑агентов, превращающих intent в action.
★ 28,202 · TypeScriptLangfuse: LLM Платформа
Открытая платформа для LLM: наблюдаемость, метрики, управление промптами, тестирование и интеграция с популярными инструментами.
★ 27,378 · TypeScriptMLflow — AI-платформа
Открытая платформа для AI-инженерии. Позволяет командам отлаживать, оценивать и оптимизировать приложения с ИИ, управляя доступом и затратами.
★ 26,029 · PythonЛУЧШИЕ РЕСУРСЫ ПО AI ИНЖЕНЕРИИ
Коллекция из 22k+ звёзд: дорожные карты, инструменты и проекты для LLM, RAG, агентов и продакшена. Всё для старта и роста AI-инженера в одном месте.
★ 22,566Тестирование LLM-моделей
Инструмент для тестирования промптов, агентов и RAG-систем. Поддерживает сравнительный анализ GPT, Claude, Gemini, Llama и других моделей.
★ 21,294 · TypeScriptcomet-ml/opik
Debug, evaluate, and monitor your LLM applications, RAG systems, and agentic workflows with comprehensive tracing, automated evaluations, and production-ready dashboards.
★ 19,332 · PythonLLM ОЦЕНКА RAG
Ragas — фреймворк для оценки LLM-приложений. Автоматизирует проверку качества и отслеживает ключевые метрики.
★ 16,320 · PythonOPENLLM: ЗАПУСК LLM КАК OPENAI API
OpenLLM позволяет запускать любые открытые LLM (Llama, Qwen, DeepSeek) как OpenAI-совместимые API одной командой. Включает чат-UI, современные бэкенды инференса и готовые
★ 12,607 · PythonPortkey-AI/gateway
A blazing fast AI Gateway with integrated guardrails. Route to 1,600+ LLMs, 50+ AI Guardrails with 1 fast & friendly API.
★ 11,847 · TypeScriptBISHENG — платформа LLM DevOps
Открытая платформа для разработки корпоративных AI-приложений нового поколения: рабочие процессы GenAI, RAG, агенты и многое другое.
★ 11,373 · TypeScriptTensorZero: LLMOps платформа
Открытая платформа LLMOps, объединяющая шлюз LLM, наблюдаемость, оценку, оптимизацию и эксперименты.
★ 11,366 · RustСУП: ОБУЧАЕМ LLM ЛЕГКО
Soup дообучает LLM из одного YAML, используя слой потоковой передачи — 8B модель на ноутбуке с 4 ГБ VRAM.
★ 10,552 · PythonMETAFLOW — УПРАВЛЕНИЕ ML
Metaflow упрощает создание, управление и развертывание систем ИИ/МЛ на Python, позволяя фокусироваться на науке о данных.
★ 10,114 · PythonAI наблюдательность платформы
Платформа для наблюдения и оценки ИИ-моделей: мониторинг качества, обнаружение дрейфа данных и интерактивная визуализация.
★ 9,652 · PythonBENTOML ПРОСТОЙ ПУТЬ К AI API
Сервируйте модели и AI‑приложения за считанные минуты: API, очереди, мульти‑модельные пайплайны и LLM‑сервисы.
★ 8,663 · Python0xPlaygrounds/rig
⚙️🦀 Build modular and scalable LLM Applications in Rust
★ 7,409 · RustOPENLLMETRY - МОНИТОРИНГ LLM-ПРИЛОЖЕНИЙ
Open-source инструмент для наблюдаемости GenAI и LLM-приложений на базе OpenTelemetry. 7.1k звёзд!
★ 7,158 · PythonPLANO: ИИ-ПРОКСИ ДЛЯ АГЕНТОВ
AI-native прокси и плоскость данных для агентных приложений с оркестрацией и безопасностью.
★ 6,567 · RustHELICONE ОБСЛЕДИВАНИЕ LLM В ОДНОЙ СТРОКЕ
Открытая платформа для наблюдения за LLM: мониторинг, оценка и эксперименты в одной строке кода. Поддерживает TypeScript и уже имеет 5.8k★.
★ 5,805 · TypeScriptZENML: ИИ ПЛАТФОРМА ОТ PIPELINE
ZenML — это Python‑фреймворк для создания AI‑pipeline и агентов, объединяющий данные, модели и orchestration в единой платформе.
★ 5,636 · Pythoncoze-dev/coze-loop
Next-generation AI Agent Optimization Platform: Cozeloop addresses challenges in AI agent development by providing full-lifecycle management capabilities from development
★ 5,471 · GoGISKARD-OSS - ОЦЕНКA LLM АГЕНТОВ
Библиотека для оценки и тестирования LLM агентов с открытым исходным кодом.
★ 5,417 · PythonШлюз для корпоративного ИИ
Самый быстрый шлюз ИИ: 50x быстрее LiteLLM, поддержка 1000+ моделей, балансировка нагрузки, кластерный режим, ограничения и накладные расходы менее 100 мкс при 5k RPS.
★ 5,089 · GoACONTEXT: ПАМЯТЬ ДЛЯ AI АГЕНТОВ
Acontext создаёт слой памяти для AI-агентов, позволяя сохранять и переиспользовать навыки между сессиями. Платформа обеспечивает контекстуальное хранение, версионирование
★ 3,695 · JavaScriptПЕЦЦО LLMOPS ДЛЯ РАЗРАБОТЧИКОВ
Пеццо — open-source LLMOps-платформа на TypeScript: управление промптами, коллаборация и наблюдаемость.
★ 3,283 · TypeScriptLANGWATCH — ПРОВЕРЬ СВОЙ LLM
Платформа для оценки LLM и тестирования AI-агентов. Удобные инструменты для дебага и мониторинга AI-приложений.
★ 3,274 · TypeScriptAGiXT: АВТОМАТИЗАЦИЯ AI-АГЕНТОВ
Платформа для оркестрации AI-агентов с адаптивной памятью, плагинами и поддержкой множества AI-провайдеров.
★ 3,192 · PythonHAMILTON - МОДУЛЬНЫЙ ДАТАФЛОУ
Apache Hamilton упрощает создание тестируемых, самодокументируемых пайплайнов данных с отслеживанием lineage.
★ 2,512 · Jupyter NotebookОПЕНЛИТ ИИ ПЛАТФОРМА БУДУЩЕГО
Open source платформа для AI Engineering: OpenTelemetry LLM, мониторинг GPU, guardrails и управление промптами. Интеграция с 50+ провайдерами.
★ 2,509 · TypeScriptWAKU-AGENT — ЛИЧНЫЙ AI АГЕНТ
Персональный AI-агент на Python: локальный запуск, память, цикл и оценка задач — всё готово за считанные минуты чтения кода.
★ 2,173 · PythonVLLM-ASCEND: ПЛАГИН ДЛЯ ASCEND НА ГИТХАБЕ
Community-плагин для vLLM на железе Ascend от сообщества, написанный на C++. Набирает звёзды — уже 2156!
★ 2,156 · C++ЕДИНЫЙ МЕНЕДЖЕР MCP СЕРВЕРОВ
Унифицированное приложение для управления MCP-серверами. Запускайте, настраивайте и оркестрируйте всё из одного места.
★ 2,127 · TypeScriptPADDLER - ПРОСТОЙ БАЛАНСИРОВЩИК LLM
Открытый балансировщик и платформа для сервиса LLM/VLM на Rust, работающий на CPU и GPU с минимальными зависимостями.
★ 1,693 · RustAGENTLY: УПРОЩЕНИЕ GEN-AI РАЗРАБОТКИ
Agently — фреймворк на Python для быстрого создания GenAI-приложений: простой код, событийный поток и легкая смена моделей.
★ 1,584 · PythonRTP-LLM УЛУЧШЕННЫЙ ИНФЕРЕНС LLM
Высокопроизводительный движок для инференса LLM от Alibaba, написанный на CUDA, обеспечивает быструю работу моделей в разнообразных приложениях.
★ 1,400 · CudaTRACELY-AI - АВТОМАТИЧЕСКОЕ ТЕСТИРОВАНИЕ АГЕНТОВ
Tracely-ai автоматически превращает сбои ИИ‑агентов в регрессионные тесты, блокирующие PR, и воспроизводит их в CI бесплатно.
★ 1,299 · PythonAWESOME AI SDKS – КОЛЛЕКЦИЯ
База SDK, фреймворков и инструментов для создания, отладки и развертывания автономных AI‑агентов. Упрощает выбор и ускоряет разработку.
★ 1,241INTELLIGENT AUDIT SYSTEM: АУДИТ НА AI
Enterprise audit agent workspace с Agentic RAG, управляемым использованием инструментов и workflow человеческого review.
★ 1,182 · PythonObserval — платформа наблюдения и оценки AI-агентов
Observal — платформа для мониторинга, оценки и отладки AI-агентов с участием человека в цикле обратной связи. Необходима для создания надёжных продакшн-конвейеров.
★ 1,118 · PythonDYNAMIQ: ОРКЕСТРАЦИЯ ИИ-ПРИЛОЖЕНИЙ
Dynamiq — фреймворк для оркестрации агентных ИИ и LLM-приложений на Python. Простой способ создавать scalable AI-рабочие процессы.
★ 1,052 · PythonOPENINFERENCE - ОБСЛЕЖИВАНИЕ AI В РЕАЛЬНОМ ВРЕМЕНИ
OpenInference добавляет OpenTelemetry-инструментацию для наблюдения за работой ИИ-моделей, упрощая отладку и мониторинг LLM-агентов.
★ 1,015 · PythonCI/CD ДЛЯ AI АГЕНТОВ НА ТРЕЙСАХ
Tracely-ai оценивает продакшн-трейсы агентов, кластеризует ошибки и превращает в регрессионные тесты. Блокирует PR с регрессией поведения. Самостоятельно разворачивается
★ 948 · PythonLLM ТУТОРИАЛЫ НА PYTHON
Коллекция ноутбуков для изучения LLM: LangChain, LlamaIndex, OpenAI. Готовые скрипты для RAG, векторных баз ChromaDB и Pinecone. 933 звезды на GitHub.
★ 933 · Jupyter NotebookOTARI: ШЛЮЗ ДЛЯ 40+ ПРОВАЙДЕРОВ
Самохостируемый шлюз, совместимый с OpenAI API, объединяющий более 40 провайдеров LLM с виртуальными ключами, бюджетами и аналитикой использования.
★ 930 · PythonЕДИНЫЙ ШЛЮЗ ДЛЯ ВСЕХ LLM
respan-gateway — единый эндпоинт для всех LLM-провайдеров. Поддерживает любой SDK, любую модель и инструменты. Один бинарник на Rust заменяет десятки интеграций.
★ 833 · RustOPENAGENT: AI АГЕНТ ПЛАТФОРМА
Платформа для создания AI-агентов с поддержкой множества моделей, баз знаний и автоматизации workflow. Однокликовый деплой через Docker.
★ 812 · PythonRust + LLM: Скорость Индексации
Swiftide — быстрая потоковая индексация и запросы для AI-агентов на Rust. 710⭐ и растёт.
★ 806 · RustTRINITY: ПЛАТФОРМА AI-АГЕНТОВ
Trinity — self‑hosted платформа для запуска AI‑агентов Claude Code, Codex и Gemini. Обеспечивает оркестрацию, версионирование и управление политиками доступа. Лицензия Ap
★ 775 · PythonAGENTACC: ОТЧЁТ ПО АГЕНТАМ
Панель показывает действия ИИ‑агентов: инструменты, изменённые файлы, запущенные тесты, время и токены. Работает локально, без регистрации и телеметрии.
★ 759 · PythonOVERMIND: ПЛАТФОРМА ДЛЯ ИИ-АГЕНТОВ
Overmind — платформа для непрерывного улучшения AI‑агентов: автоматическая оценка, fine‑tuning и интеграция с LLM‑операциями. Позволяет отслеживать метрики, запускать экс
★ 759 · PythonТетради AI-инженера
Коллекция практических Jupyter‑ноутбуков без фреймворков для изучения навыков AI‑инженера: работа с API моделей, структурированный вывод, вызов инструментов, RAG, оценка,
★ 749 · Jupyter NotebookAI ЧАТ В РЕЗЮМЕ
Интерактивное резюме на React 19 и TypeScript с чатом, где можно поговорить с ИИ‑аватаром о моем опыте.
★ 660 · HTMLОС ПЛАТФОРМА AI-АГЕНТОВ
os — фреймворк для создания AI-агентов: поддержка LLM, чат и голос в реальном времени, обучение на документах, аналитика, управление пользователями, SSO и виджеты. Built
★ 638 · TypeScriptGATEWAY: ЕДИНЫЙ SDK ДЛЯ LLM
Gateway — локальный production‑grade Super SDK, объединяющий более 200 LLM в единый интерфейс. Работайте с любой моделью без сложной настройки.
★ 609 · TypeScriptVECTORHUB - УСТАРЕВШИЙ РЕПОЗИТОРИЙ ДЛЯ ЭМБЕДДИНГОВ
Архивный проект VectorHub демонстрирует ранние работы по векторному поиску. Сейчас команда сосредоточена на SIE — саморазмещаемом движке для эмбеддингов, ранжирования и о
★ 535 · Jupyter NotebookCONTINUOUS-EVAL - ОЦЕНКА LLM НА ДАННЫХ
Платформа для автоматической оценки LLM‑приложений на основе реальных данных. Позволяет измерять качество и улучшать модели без ручного труда.
★ 519 · PythonAGENCY: МИНИМАЛЬНЫЙ ФРЕЙМВОРК ДЛЯ АГЕНТОВ
Быстрый и минималистичный фреймворк на Python для создания агентных систем. 486 звёзд на GitHub.
★ 491 · PythonLYNKR УПРОЩАЕМ РАБОТУ С КОДОМ
Lynkr — CLI‑утилита, которая выступает HTTP‑прокси для быстрого взаимодействия с Claude Code и упрощает рабочие процессы разработки.
★ 445 · JavaScriptНовые проекты по теме — в Telegram
Telegram →