R_REDDYX.XYZ

LLMOps: open-source проекты на GitHub

81 репозиториев по теме LLMOps, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.

// СМЕЖНЫЕ ТЕМЫ

LLM 2064Openai 691MCP 1593Observability 90RAG 507Langchain 193AI Agents 1303Anthropic 449Prompt Engineering 171Generative AI 187Machine Learning 188LLM Evaluation 41Agents 400MLOps 46
pathwaycom/llm-app

Готовые шаблоны LLM

Готовые облачные шаблоны для RAG, AI‑pipeline и поиска с живыми данными, Docker‑совместимые и синхронные с SharePoint, S3, Kafka и PostgreSQL.

★ 59,750 · Jupyter Notebook
BerriAI/litellm

Единый шлюз LLM

Python SDK и прокси‑сервер для вызова 100+ LLM через OpenAI‑совместимый API с учётом затрат, защиты, балансировки нагрузки и логирования.

★ 46,602 · Python
ComposioHQ/composio

Composio для ИИ-агентов

Composio дает 1000+ наборов инструментов, поиск, управление контекстом, аутентификацию и песочницу для создания ИИ‑агентов, превращающих intent в action.

★ 28,202 · TypeScript
langfuse/langfuse

Langfuse: LLM Платформа

Открытая платформа для LLM: наблюдаемость, метрики, управление промптами, тестирование и интеграция с популярными инструментами.

★ 27,378 · TypeScript
mlflow/mlflow

MLflow — AI-платформа

Открытая платформа для AI-инженерии. Позволяет командам отлаживать, оценивать и оптимизировать приложения с ИИ, управляя доступом и затратами.

★ 26,029 · Python
dipakkr/awesome-ai-engineering

ЛУЧШИЕ РЕСУРСЫ ПО AI ИНЖЕНЕРИИ

Коллекция из 22k+ звёзд: дорожные карты, инструменты и проекты для LLM, RAG, агентов и продакшена. Всё для старта и роста AI-инженера в одном месте.

★ 22,566
promptfoo/promptfoo

Тестирование LLM-моделей

Инструмент для тестирования промптов, агентов и RAG-систем. Поддерживает сравнительный анализ GPT, Claude, Gemini, Llama и других моделей.

★ 21,294 · TypeScript
comet-ml/opik

comet-ml/opik

Debug, evaluate, and monitor your LLM applications, RAG systems, and agentic workflows with comprehensive tracing, automated evaluations, and production-ready dashboards.

★ 19,332 · Python
vibrantlabsai/ragas

LLM ОЦЕНКА RAG

Ragas — фреймворк для оценки LLM-приложений. Автоматизирует проверку качества и отслеживает ключевые метрики.

★ 16,320 · Python
bentoml/OpenLLM

OPENLLM: ЗАПУСК LLM КАК OPENAI API

OpenLLM позволяет запускать любые открытые LLM (Llama, Qwen, DeepSeek) как OpenAI-совместимые API одной командой. Включает чат-UI, современные бэкенды инференса и готовые

★ 12,607 · Python
Portkey-AI/gateway

Portkey-AI/gateway

A blazing fast AI Gateway with integrated guardrails. Route to 1,600+ LLMs, 50+ AI Guardrails with 1 fast & friendly API.

★ 11,847 · TypeScript
dataelement/bisheng

BISHENG — платформа LLM DevOps

Открытая платформа для разработки корпоративных AI-приложений нового поколения: рабочие процессы GenAI, RAG, агенты и многое другое.

★ 11,373 · TypeScript
tensorzero/tensorzero

TensorZero: LLMOps платформа

Открытая платформа LLMOps, объединяющая шлюз LLM, наблюдаемость, оценку, оптимизацию и эксперименты.

★ 11,366 · Rust
MakazhanAlpamys/Soup

СУП: ОБУЧАЕМ LLM ЛЕГКО

Soup дообучает LLM из одного YAML, используя слой потоковой передачи — 8B модель на ноутбуке с 4 ГБ VRAM.

★ 10,552 · Python
Netflix/metaflow

METAFLOW — УПРАВЛЕНИЕ ML

Metaflow упрощает создание, управление и развертывание систем ИИ/МЛ на Python, позволяя фокусироваться на науке о данных.

★ 10,114 · Python
Arize-ai/phoenix

AI наблюдательность платформы

Платформа для наблюдения и оценки ИИ-моделей: мониторинг качества, обнаружение дрейфа данных и интерактивная визуализация.

★ 9,652 · Python
bentoml/BentoML

BENTOML ПРОСТОЙ ПУТЬ К AI API

Сервируйте модели и AI‑приложения за считанные минуты: API, очереди, мульти‑модельные пайплайны и LLM‑сервисы.

★ 8,663 · Python
0xPlaygrounds/rig

0xPlaygrounds/rig

⚙️🦀 Build modular and scalable LLM Applications in Rust

★ 7,409 · Rust
traceloop/openllmetry

OPENLLMETRY - МОНИТОРИНГ LLM-ПРИЛОЖЕНИЙ

Open-source инструмент для наблюдаемости GenAI и LLM-приложений на базе OpenTelemetry. 7.1k звёзд!

★ 7,158 · Python
katanemo/plano

PLANO: ИИ-ПРОКСИ ДЛЯ АГЕНТОВ

AI-native прокси и плоскость данных для агентных приложений с оркестрацией и безопасностью.

★ 6,567 · Rust
Helicone/helicone

HELICONE ОБСЛЕДИВАНИЕ LLM В ОДНОЙ СТРОКЕ

Открытая платформа для наблюдения за LLM: мониторинг, оценка и эксперименты в одной строке кода. Поддерживает TypeScript и уже имеет 5.8k★.

★ 5,805 · TypeScript
zenml-io/zenml

ZENML: ИИ ПЛАТФОРМА ОТ PIPELINE

ZenML — это Python‑фреймворк для создания AI‑pipeline и агентов, объединяющий данные, модели и orchestration в единой платформе.

★ 5,636 · Python
coze-dev/coze-loop

coze-dev/coze-loop

Next-generation AI Agent Optimization Platform: Cozeloop addresses challenges in AI agent development by providing full-lifecycle management capabilities from development

★ 5,471 · Go
Giskard-AI/giskard-oss

GISKARD-OSS - ОЦЕНКA LLM АГЕНТОВ

Библиотека для оценки и тестирования LLM агентов с открытым исходным кодом.

★ 5,417 · Python
maximhq/bifrost

Шлюз для корпоративного ИИ

Самый быстрый шлюз ИИ: 50x быстрее LiteLLM, поддержка 1000+ моделей, балансировка нагрузки, кластерный режим, ограничения и накладные расходы менее 100 мкс при 5k RPS.

★ 5,089 · Go
memodb-io/Acontext

ACONTEXT: ПАМЯТЬ ДЛЯ AI АГЕНТОВ

Acontext создаёт слой памяти для AI-агентов, позволяя сохранять и переиспользовать навыки между сессиями. Платформа обеспечивает контекстуальное хранение, версионирование

★ 3,695 · JavaScript
pezzolabs/pezzo

ПЕЦЦО LLMOPS ДЛЯ РАЗРАБОТЧИКОВ

Пеццо — open-source LLMOps-платформа на TypeScript: управление промптами, коллаборация и наблюдаемость.

★ 3,283 · TypeScript
langwatch/langwatch

LANGWATCH — ПРОВЕРЬ СВОЙ LLM

Платформа для оценки LLM и тестирования AI-агентов. Удобные инструменты для дебага и мониторинга AI-приложений.

★ 3,274 · TypeScript
Josh-XT/AGiXT

AGiXT: АВТОМАТИЗАЦИЯ AI-АГЕНТОВ

Платформа для оркестрации AI-агентов с адаптивной памятью, плагинами и поддержкой множества AI-провайдеров.

★ 3,192 · Python
apache/hamilton

HAMILTON - МОДУЛЬНЫЙ ДАТАФЛОУ

Apache Hamilton упрощает создание тестируемых, самодокументируемых пайплайнов данных с отслеживанием lineage.

★ 2,512 · Jupyter Notebook
openlit/openlit

ОПЕНЛИТ ИИ ПЛАТФОРМА БУДУЩЕГО

Open source платформа для AI Engineering: OpenTelemetry LLM, мониторинг GPU, guardrails и управление промптами. Интеграция с 50+ провайдерами.

★ 2,509 · TypeScript
ShenSeanChen/waku-agent

WAKU-AGENT — ЛИЧНЫЙ AI АГЕНТ

Персональный AI-агент на Python: локальный запуск, память, цикл и оценка задач — всё готово за считанные минуты чтения кода.

★ 2,173 · Python
vllm-project/vllm-ascend

VLLM-ASCEND: ПЛАГИН ДЛЯ ASCEND НА ГИТХАБЕ

Community-плагин для vLLM на железе Ascend от сообщества, написанный на C++. Набирает звёзды — уже 2156!

★ 2,156 · C++
mcp-router/mcp-router

ЕДИНЫЙ МЕНЕДЖЕР MCP СЕРВЕРОВ

Унифицированное приложение для управления MCP-серверами. Запускайте, настраивайте и оркестрируйте всё из одного места.

★ 2,127 · TypeScript
intentee/paddler

PADDLER - ПРОСТОЙ БАЛАНСИРОВЩИК LLM

Открытый балансировщик и платформа для сервиса LLM/VLM на Rust, работающий на CPU и GPU с минимальными зависимостями.

★ 1,693 · Rust
AgentEra/Agently

AGENTLY: УПРОЩЕНИЕ GEN-AI РАЗРАБОТКИ

Agently — фреймворк на Python для быстрого создания GenAI-приложений: простой код, событийный поток и легкая смена моделей.

★ 1,584 · Python
alibaba/rtp-llm

RTP-LLM УЛУЧШЕННЫЙ ИНФЕРЕНС LLM

Высокопроизводительный движок для инференса LLM от Alibaba, написанный на CUDA, обеспечивает быструю работу моделей в разнообразных приложениях.

★ 1,400 · Cuda
Jwuthri/Tracely-ai

TRACELY-AI - АВТОМАТИЧЕСКОЕ ТЕСТИРОВАНИЕ АГЕНТОВ

Tracely-ai автоматически превращает сбои ИИ‑агентов в регрессионные тесты, блокирующие PR, и воспроизводит их в CI бесплатно.

★ 1,299 · Python
e2b-dev/awesome-ai-sdks

AWESOME AI SDKS – КОЛЛЕКЦИЯ

База SDK, фреймворков и инструментов для создания, отладки и развертывания автономных AI‑агентов. Упрощает выбор и ускоряет разработку.

★ 1,241
Ricky-7-Yan/intelligent-audit-system

INTELLIGENT AUDIT SYSTEM: АУДИТ НА AI

Enterprise audit agent workspace с Agentic RAG, управляемым использованием инструментов и workflow человеческого review.

★ 1,182 · Python
BlazeUp-AI/Observal

Observal — платформа наблюдения и оценки AI-агентов

Observal — платформа для мониторинга, оценки и отладки AI-агентов с участием человека в цикле обратной связи. Необходима для создания надёжных продакшн-конвейеров.

★ 1,118 · Python
dynamiq-ai/dynamiq

DYNAMIQ: ОРКЕСТРАЦИЯ ИИ-ПРИЛОЖЕНИЙ

Dynamiq — фреймворк для оркестрации агентных ИИ и LLM-приложений на Python. Простой способ создавать scalable AI-рабочие процессы.

★ 1,052 · Python
Arize-ai/openinference

OPENINFERENCE - ОБСЛЕЖИВАНИЕ AI В РЕАЛЬНОМ ВРЕМЕНИ

OpenInference добавляет OpenTelemetry-инструментацию для наблюдения за работой ИИ-моделей, упрощая отладку и мониторинг LLM-агентов.

★ 1,015 · Python
jwuthri-cloud/Tracely-ai

CI/CD ДЛЯ AI АГЕНТОВ НА ТРЕЙСАХ

Tracely-ai оценивает продакшн-трейсы агентов, кластеризует ошибки и превращает в регрессионные тесты. Блокирует PR с регрессией поведения. Самостоятельно разворачивается

★ 948 · Python
onlyphantom/llm-python

LLM ТУТОРИАЛЫ НА PYTHON

Коллекция ноутбуков для изучения LLM: LangChain, LlamaIndex, OpenAI. Готовые скрипты для RAG, векторных баз ChromaDB и Pinecone. 933 звезды на GitHub.

★ 933 · Jupyter Notebook
mozilla-ai/otari

OTARI: ШЛЮЗ ДЛЯ 40+ ПРОВАЙДЕРОВ

Самохостируемый шлюз, совместимый с OpenAI API, объединяющий более 40 провайдеров LLM с виртуальными ключами, бюджетами и аналитикой использования.

★ 930 · Python
respanai/respan-gateway

ЕДИНЫЙ ШЛЮЗ ДЛЯ ВСЕХ LLM

respan-gateway — единый эндпоинт для всех LLM-провайдеров. Поддерживает любой SDK, любую модель и инструменты. Один бинарник на Rust заменяет десятки интеграций.

★ 833 · Rust
Haohao-end/openagent

OPENAGENT: AI АГЕНТ ПЛАТФОРМА

Платформа для создания AI-агентов с поддержкой множества моделей, баз знаний и автоматизации workflow. Однокликовый деплой через Docker.

★ 812 · Python
bosun-ai/swiftide

Rust + LLM: Скорость Индексации

Swiftide — быстрая потоковая индексация и запросы для AI-агентов на Rust. 710⭐ и растёт.

★ 806 · Rust
Abilityai/trinity

TRINITY: ПЛАТФОРМА AI-АГЕНТОВ

Trinity — self‑hosted платформа для запуска AI‑агентов Claude Code, Codex и Gemini. Обеспечивает оркестрацию, версионирование и управление политиками доступа. Лицензия Ap

★ 775 · Python
mikehasa/agentacct

AGENTACC: ОТЧЁТ ПО АГЕНТАМ

Панель показывает действия ИИ‑агентов: инструменты, изменённые файлы, запущенные тесты, время и токены. Работает локально, без регистрации и телеметрии.

★ 759 · Python
overmind-core/overmind

OVERMIND: ПЛАТФОРМА ДЛЯ ИИ-АГЕНТОВ

Overmind — платформа для непрерывного улучшения AI‑агентов: автоматическая оценка, fine‑tuning и интеграция с LLM‑операциями. Позволяет отслеживать метрики, запускать экс

★ 759 · Python
calmrocks/ai-engineer-notebooks

Тетради AI-инженера

Коллекция практических Jupyter‑ноутбуков без фреймворков для изучения навыков AI‑инженера: работа с API моделей, структурированный вывод, вызов инструментов, RAG, оценка,

★ 749 · Jupyter Notebook
santifer/cv-santiago

AI ЧАТ В РЕЗЮМЕ

Интерактивное резюме на React 19 и TypeScript с чатом, где можно поговорить с ИИ‑аватаром о моем опыте.

★ 660 · HTML
iblai/os

ОС ПЛАТФОРМА AI-АГЕНТОВ

os — фреймворк для создания AI-агентов: поддержка LLM, чат и голос в реальном времени, обучение на документах, аналитика, управление пользователями, SSO и виджеты. Built

★ 638 · TypeScript
adaline/gateway

GATEWAY: ЕДИНЫЙ SDK ДЛЯ LLM

Gateway — локальный production‑grade Super SDK, объединяющий более 200 LLM в единый интерфейс. Работайте с любой моделью без сложной настройки.

★ 609 · TypeScript
superlinked/VectorHub

VECTORHUB - УСТАРЕВШИЙ РЕПОЗИТОРИЙ ДЛЯ ЭМБЕДДИНГОВ

Архивный проект VectorHub демонстрирует ранние работы по векторному поиску. Сейчас команда сосредоточена на SIE — саморазмещаемом движке для эмбеддингов, ранжирования и о

★ 535 · Jupyter Notebook
relari-ai/continuous-eval

CONTINUOUS-EVAL - ОЦЕНКА LLM НА ДАННЫХ

Платформа для автоматической оценки LLM‑приложений на основе реальных данных. Позволяет измерять качество и улучшать модели без ручного труда.

★ 519 · Python
operand/agency

AGENCY: МИНИМАЛЬНЫЙ ФРЕЙМВОРК ДЛЯ АГЕНТОВ

Быстрый и минималистичный фреймворк на Python для создания агентных систем. 486 звёзд на GitHub.

★ 491 · Python
Fast-Editor/Lynkr

LYNKR УПРОЩАЕМ РАБОТУ С КОДОМ

Lynkr — CLI‑утилита, которая выступает HTTP‑прокси для быстрого взаимодействия с Claude Code и упрощает рабочие процессы разработки.

★ 445 · JavaScript

Новые проекты по теме — в Telegram

Telegram →
LLMOps — 81 open-source проектов на GitHub | REDDYX AI