R_REDDYX.XYZ

LLM Observability: open-source проекты на GitHub

24 репозиториев по теме LLM Observability, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.

// СМЕЖНЫЕ ТЕМЫ

LLM 2064Observability 90LLMOps 81Openai 691LLM Evaluation 41AI Agents 1303Anthropic 449MCP 1593Langchain 193Self Hosted 348Agent Observability 17Evaluation 43Monitoring 51Cost Tracking 18
langfuse/langfuse

Langfuse: LLM Платформа

Открытая платформа для LLM: наблюдаемость, метрики, управление промптами, тестирование и интеграция с популярными инструментами.

★ 27,378 · TypeScript
comet-ml/opik

comet-ml/opik

Debug, evaluate, and monitor your LLM applications, RAG systems, and agentic workflows with comprehensive tracing, automated evaluations, and production-ready dashboards.

★ 19,332 · Python
VoltAgent/voltagent

VoltAgent/voltagent

AI Agent Engineering Platform built on an Open Source TypeScript AI Agent Framework

★ 9,150 · TypeScript
mnfst/llm-gateway

ПОДКЛЮЧИ ЛЮБЫХ АГЕНТОВ К LLM

Соедините любых ИИ‑агентов и инструменты с любым провайдером LLM через единый шлюз. Поддерживает Anthropic, OpenAI и другие API, отслеживает стоимость и usage.

★ 7,636 · TypeScript
mnfst/manifest

Умный маршрутизатор моделей

Автоматически выбирает оптимальную модель для каждого запроса агентов, сокращая затраты на inference до 70%.

★ 6,565 · TypeScript
Helicone/helicone

HELICONE ОБСЛЕДИВАНИЕ LLM В ОДНОЙ СТРОКЕ

Открытая платформа для наблюдения за LLM: мониторинг, оценка и эксперименты в одной строке кода. Поддерживает TypeScript и уже имеет 5.8k★.

★ 5,805 · TypeScript
coze-dev/coze-loop

coze-dev/coze-loop

Next-generation AI Agent Optimization Platform: Cozeloop addresses challenges in AI agent development by providing full-lifecycle management capabilities from development

★ 5,471 · Go
maximhq/bifrost

Шлюз для корпоративного ИИ

Самый быстрый шлюз ИИ: 50x быстрее LiteLLM, поддержка 1000+ моделей, балансировка нагрузки, кластерный режим, ограничения и накладные расходы менее 100 мкс при 5k RPS.

★ 5,089 · Go
Agenta-AI/agenta

AGENTA: ИИ АГЕНТЫ В ЧАТЕ

Agenta — это открытая платформа для создания AI-агентов через чат, их совместного использования и запуска по расписанию или событиям приложения.

★ 4,911 · TypeScript
pydantic/logfire

LOGFIRE: НАБЛЮДЕНИЕ LLM

Платформа для наблюдения за production LLM и агентными системами: трассировка, метрики и алерты в реальном времени.

★ 4,290 · Python
memodb-io/Acontext

ACONTEXT: ПАМЯТЬ ДЛЯ AI АГЕНТОВ

Acontext создаёт слой памяти для AI-агентов, позволяя сохранять и переиспользовать навыки между сессиями. Платформа обеспечивает контекстуальное хранение, версионирование

★ 3,695 · JavaScript
Jwuthri/Tracely-ai

TRACELY-AI - АВТОМАТИЧЕСКОЕ ТЕСТИРОВАНИЕ АГЕНТОВ

Tracely-ai автоматически превращает сбои ИИ‑агентов в регрессионные тесты, блокирующие PR, и воспроизводит их в CI бесплатно.

★ 1,299 · Python
BlazeUp-AI/Observal

Observal — платформа наблюдения и оценки AI-агентов

Observal — платформа для мониторинга, оценки и отладки AI-агентов с участием человека в цикле обратной связи. Необходима для создания надёжных продакшн-конвейеров.

★ 1,118 · Python
ThinkWatchProject/ThinkWatch-Lite

ЛОКАЛЬНЫЙ GATEWAY CLAUDE

ThinkWatch-Lite — локальный gateway для Claude Code, Codex и других AI-клиентов. Переключает upstream-ы без редактирования клиентов, сохраняет API-ключи и блокирует вредо

★ 1,070 · TypeScript
JudgmentLabs/judgeval

JUDGEVAL СТЕК ДЛЯ АГЕНТОВ

Платформа для непрерывного улучшения AI-агентов: сбор данных окружения и оценки для мониторинга и роста.

★ 1,036 · Python
jwuthri-cloud/Tracely-ai

CI/CD ДЛЯ AI АГЕНТОВ НА ТРЕЙСАХ

Tracely-ai оценивает продакшн-трейсы агентов, кластеризует ошибки и превращает в регрессионные тесты. Блокирует PR с регрессией поведения. Самостоятельно разворачивается

★ 948 · Python
Abilityai/trinity

TRINITY: ПЛАТФОРМА AI-АГЕНТОВ

Trinity — self‑hosted платформа для запуска AI‑агентов Claude Code, Codex и Gemini. Обеспечивает оркестрацию, версионирование и управление политиками доступа. Лицензия Ap

★ 775 · Python
Continuum-AI-Corp/OrcaReplay

ORCA REPLAY: ВРЕМЕННЫЕ ПУТЕШЕСТВИЯ

OrcaReplay записывает любой запуск AI-агента и позволяет воспроизводить его шаг за шагом. Вы можете создавать форки для экспериментов и отлаживать состояние на каждом эта

★ 727 · TypeScript
evilmartians/agent-prism

AGENT PRISM: СЛЕДЫ AI АГЕНТОВ

Компоненты React на TypeScript для интерактивной визуализации трасс работы AI‑агентов.

★ 408 · TypeScript
Justin0504/Aegis

AEGIS: ЗАЩИТА AI-АГЕНТОВ БЕЗ КОДА

Aegis обеспечивает политики рантайма для AI‑агентов с криптографическим аудит‑трейлом, одобрением человека и kill‑switch — без изменения кода.

★ 361 · TypeScript
taichuy/1flowbase

1FLOWBASE АГЕНТ-ПЛАТФОРМА НА RUST

Open-source полноценный стек для AI-агентов: шлюзы, бекенд, React-блоки, автогенерация CRUD и трассировки.

★ 293 · Rust
scasella/claude-flightdeck

ЖИВОЙ ДЭШБОРД ДЛЯ CLAUDE CODE

claude-flightdeck добавляет в терминал панель наблюдения за Claude Code: контекст и стоимость, таймлайн советников, проверки разрешений, карты субагентов и swimlanes. 233

★ 287 · TypeScript
alibaba/loongsuite-pilot

ЛОКАЛЬНЫЙ ТЕЛЕМЕТРИЧНЫЙ AI-ПИЛОТ

loongsuite-pilot собирает телеметрию AI‑кодеров в локальном режиме, объединяя OpenTelemetry‑события из Claude Code, Codex, Cursor и агентов. Он фиксирует токены, стоимост

★ 253 · TypeScript
QuesmaOrg/awesome-ai-tokenomics

ТОКЕНОМИКА LLM: ЭКОНОМЬ И ИНСТРУМЕНТЫ

Курируемый список по экономике токенов в AI: стоимость, потери и способы сократить расходы. Инструменты, бенчмарки, статьи и готовые конфиги для LLM и кодинг-агентов. 206

★ 219 · Python

Новые проекты по теме — в Telegram

Telegram →
LLM Observability — 24 open-source проектов на GitHub | REDDYX AI