R_REDDYX.XYZ

Evals: open-source проекты на GitHub

20 репозиториев по теме Evals, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.

// СМЕЖНЫЕ ТЕМЫ

LLM 2064AI Agents 1303MCP 1593LLMOps 81Openai 691LLM Evaluation 41Evaluation 43Observability 90Claude Code 1573Codex 841RAG 507Agents 400Anthropic 449Prompt Engineering 171
mastra-ai/mastra

Mastra фреймворк ИИ

Mastra — TypeScript-фреймворк для создания AI-приложений и агентов от команды Gatsby.

★ 23,853 · TypeScript
Arize-ai/phoenix

AI наблюдательность платформы

Платформа для наблюдения и оценки ИИ-моделей: мониторинг качества, обнаружение дрейфа данных и интерактивная визуализация.

★ 9,652 · Python
AgentOps-AI/agentops

AGENTOPS: МОНИТОРИНГ AI-АГЕНТОВ

Python SDK для мониторинга AI-агентов, учёта затрат на LLM и бенчмаркинга. Поддержка всех популярных фреймворков.

★ 5,960 · Python
Kiln-AI/Kiln

Kiln-AI/Kiln

Build, Evaluate, and Optimize AI Systems. Includes evals, RAG, agents, fine-tuning, synthetic data generation, dataset management, MCP, and more.

★ 4,848 · Python
pydantic/logfire

LOGFIRE: НАБЛЮДЕНИЕ LLM

Платформа для наблюдения за production LLM и агентными системами: трассировка, метрики и алерты в реальном времени.

★ 4,290 · Python
FrancyJGLisboa/agent-skills-platform

ПЛАТФОРМА НАВЫКОВ AI-АГЕНТОВ

Платформа позволяет создавать, тестировать и выпускать навыки для AI‑агентов через пользовательский маркетплейс. Управляйте их жизненным циклом: обнаружение, обновления,

★ 2,414 · Python
ShenSeanChen/waku-agent

WAKU-AGENT — ЛИЧНЫЙ AI АГЕНТ

Персональный AI-агент на Python: локальный запуск, память, цикл и оценка задач — всё готово за считанные минуты чтения кода.

★ 2,173 · Python
MCPJam/inspector

INSPECTOR - ОТЛАДКА MCP СЕРВЕРОВ

Платформа для тестирования, инспекции и отладки MCP-серверов, MCP-приложений и ChatGPT-приложений. 1968 ⭐

★ 1,968 · TypeScript
LilMGenius/paperthin

PAPERTHIN: НАВЫКИ РЕКУРСИВНОГО RSI

Проект-лаудёр хакатона OpenAI по рекурсивному самоулучшению агентов. Распаковывает доказательство NVIDIA нулевого вмешательства в инженерную практику. Готовый набор скилл

★ 1,445 · JavaScript
Jwuthri/Tracely-ai

TRACELY-AI - АВТОМАТИЧЕСКОЕ ТЕСТИРОВАНИЕ АГЕНТОВ

Tracely-ai автоматически превращает сбои ИИ‑агентов в регрессионные тесты, блокирующие PR, и воспроизводит их в CI бесплатно.

★ 1,299 · Python
superlinear-ai/raglite

RAGLITE - БЫСТРЫЙ RAG НА DUCKDB

Простой инструмент для построения RAG-пайплайнов с DuckDB или PostgreSQL на Python.

★ 1,212 · Python
ombharatiya/ai-system-design-guide

ГИД ПО AI СИСТЕМАМ

Практический гайд по проектированию production-ready AI систем и оценке их качества для инженеров.

★ 1,132
benchflow-ai/awesome-evals

AWESOME-EVALS

Библиотека лучших ресурсов для создания и оценки AI-агентов: статьи, блоги, инструменты и бенчмарки.

★ 1,039
future-agi/future-agi

Оценка AI приложений

Открытая платформа для оценки и улучшения LLM и AI-агентов с поддержкой трассировки, симуляций и датасетов. Локальный запуск.

★ 971 · Python
tripleyak/SkillForge

SKILLFORGE — НАДЕЖНЫЙ СКИЛЛ-ГЕНЕРАТОР

SkillForge создаёт проверенные навыки для Claude Code и Codex с baseline‑тестированием и регрессионной оценкой.

★ 918 · Python
overmind-core/overmind

OVERMIND: ПЛАТФОРМА ДЛЯ ИИ-АГЕНТОВ

Overmind — платформа для непрерывного улучшения AI‑агентов: автоматическая оценка, fine‑tuning и интеграция с LLM‑операциями. Позволяет отслеживать метрики, запускать экс

★ 759 · Python
calmrocks/ai-engineer-notebooks

Тетради AI-инженера

Коллекция практических Jupyter‑ноутбуков без фреймворков для изучения навыков AI‑инженера: работа с API моделей, структурированный вывод, вызов инструментов, RAG, оценка,

★ 749 · Jupyter Notebook
osolmaz/switch

Фреймворк для цепочек решений ИИ

Инструмент для построения систем принятия решений: программа предлагает модели список шагов, модель выбирает один, пока не найдёт ответ.

★ 444 · TypeScript
heaven999b/hello-agent-system

Обучение проектированию AI-агентов

17 двуязычных уроков по созданию enterprise AI-агентов с нуля: инструменты, архитектуры, надежность, безопасность, RAG и продакшн-операции.

★ 316 · Python
edonadei/caliper

ОЦЕНИТЕ АГЕНТОВ С CALIPER

Caliper запускает вашего реального агента с навыками, MCPs и правилами и без них, показывая, что действительно полезно и сколько токенов стоит. Поддерживает Claude Code,

★ 235 · Python

Новые проекты по теме — в Telegram

Telegram →
Evals — 20 open-source проектов на GitHub | REDDYX AI