LLM Observability: open-source проекты на GitHub
24 репозиториев по теме LLM Observability, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.
// СМЕЖНЫЕ ТЕМЫ
Langfuse: LLM Платформа
Открытая платформа для LLM: наблюдаемость, метрики, управление промптами, тестирование и интеграция с популярными инструментами.
★ 27,378 · TypeScriptcomet-ml/opik
Debug, evaluate, and monitor your LLM applications, RAG systems, and agentic workflows with comprehensive tracing, automated evaluations, and production-ready dashboards.
★ 19,332 · PythonVoltAgent/voltagent
AI Agent Engineering Platform built on an Open Source TypeScript AI Agent Framework
★ 9,150 · TypeScriptПОДКЛЮЧИ ЛЮБЫХ АГЕНТОВ К LLM
Соедините любых ИИ‑агентов и инструменты с любым провайдером LLM через единый шлюз. Поддерживает Anthropic, OpenAI и другие API, отслеживает стоимость и usage.
★ 7,636 · TypeScriptУмный маршрутизатор моделей
Автоматически выбирает оптимальную модель для каждого запроса агентов, сокращая затраты на inference до 70%.
★ 6,565 · TypeScriptHELICONE ОБСЛЕДИВАНИЕ LLM В ОДНОЙ СТРОКЕ
Открытая платформа для наблюдения за LLM: мониторинг, оценка и эксперименты в одной строке кода. Поддерживает TypeScript и уже имеет 5.8k★.
★ 5,805 · TypeScriptcoze-dev/coze-loop
Next-generation AI Agent Optimization Platform: Cozeloop addresses challenges in AI agent development by providing full-lifecycle management capabilities from development
★ 5,471 · GoШлюз для корпоративного ИИ
Самый быстрый шлюз ИИ: 50x быстрее LiteLLM, поддержка 1000+ моделей, балансировка нагрузки, кластерный режим, ограничения и накладные расходы менее 100 мкс при 5k RPS.
★ 5,089 · GoAGENTA: ИИ АГЕНТЫ В ЧАТЕ
Agenta — это открытая платформа для создания AI-агентов через чат, их совместного использования и запуска по расписанию или событиям приложения.
★ 4,911 · TypeScriptLOGFIRE: НАБЛЮДЕНИЕ LLM
Платформа для наблюдения за production LLM и агентными системами: трассировка, метрики и алерты в реальном времени.
★ 4,290 · PythonACONTEXT: ПАМЯТЬ ДЛЯ AI АГЕНТОВ
Acontext создаёт слой памяти для AI-агентов, позволяя сохранять и переиспользовать навыки между сессиями. Платформа обеспечивает контекстуальное хранение, версионирование
★ 3,695 · JavaScriptTRACELY-AI - АВТОМАТИЧЕСКОЕ ТЕСТИРОВАНИЕ АГЕНТОВ
Tracely-ai автоматически превращает сбои ИИ‑агентов в регрессионные тесты, блокирующие PR, и воспроизводит их в CI бесплатно.
★ 1,299 · PythonObserval — платформа наблюдения и оценки AI-агентов
Observal — платформа для мониторинга, оценки и отладки AI-агентов с участием человека в цикле обратной связи. Необходима для создания надёжных продакшн-конвейеров.
★ 1,118 · PythonЛОКАЛЬНЫЙ GATEWAY CLAUDE
ThinkWatch-Lite — локальный gateway для Claude Code, Codex и других AI-клиентов. Переключает upstream-ы без редактирования клиентов, сохраняет API-ключи и блокирует вредо
★ 1,070 · TypeScriptJUDGEVAL СТЕК ДЛЯ АГЕНТОВ
Платформа для непрерывного улучшения AI-агентов: сбор данных окружения и оценки для мониторинга и роста.
★ 1,036 · PythonCI/CD ДЛЯ AI АГЕНТОВ НА ТРЕЙСАХ
Tracely-ai оценивает продакшн-трейсы агентов, кластеризует ошибки и превращает в регрессионные тесты. Блокирует PR с регрессией поведения. Самостоятельно разворачивается
★ 948 · PythonTRINITY: ПЛАТФОРМА AI-АГЕНТОВ
Trinity — self‑hosted платформа для запуска AI‑агентов Claude Code, Codex и Gemini. Обеспечивает оркестрацию, версионирование и управление политиками доступа. Лицензия Ap
★ 775 · PythonORCA REPLAY: ВРЕМЕННЫЕ ПУТЕШЕСТВИЯ
OrcaReplay записывает любой запуск AI-агента и позволяет воспроизводить его шаг за шагом. Вы можете создавать форки для экспериментов и отлаживать состояние на каждом эта
★ 727 · TypeScriptAGENT PRISM: СЛЕДЫ AI АГЕНТОВ
Компоненты React на TypeScript для интерактивной визуализации трасс работы AI‑агентов.
★ 408 · TypeScriptAEGIS: ЗАЩИТА AI-АГЕНТОВ БЕЗ КОДА
Aegis обеспечивает политики рантайма для AI‑агентов с криптографическим аудит‑трейлом, одобрением человека и kill‑switch — без изменения кода.
★ 361 · TypeScript1FLOWBASE АГЕНТ-ПЛАТФОРМА НА RUST
Open-source полноценный стек для AI-агентов: шлюзы, бекенд, React-блоки, автогенерация CRUD и трассировки.
★ 293 · RustЖИВОЙ ДЭШБОРД ДЛЯ CLAUDE CODE
claude-flightdeck добавляет в терминал панель наблюдения за Claude Code: контекст и стоимость, таймлайн советников, проверки разрешений, карты субагентов и swimlanes. 233
★ 287 · TypeScriptЛОКАЛЬНЫЙ ТЕЛЕМЕТРИЧНЫЙ AI-ПИЛОТ
loongsuite-pilot собирает телеметрию AI‑кодеров в локальном режиме, объединяя OpenTelemetry‑события из Claude Code, Codex, Cursor и агентов. Он фиксирует токены, стоимост
★ 253 · TypeScriptТОКЕНОМИКА LLM: ЭКОНОМЬ И ИНСТРУМЕНТЫ
Курируемый список по экономике токенов в AI: стоимость, потери и способы сократить расходы. Инструменты, бенчмарки, статьи и готовые конфиги для LLM и кодинг-агентов. 206
★ 219 · PythonНовые проекты по теме — в Telegram
Telegram →