R_REDDYX.XYZ

Agent Evaluation: open-source проекты на GitHub

12 репозиториев по теме Agent Evaluation, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.

// СМЕЖНЫЕ ТЕМЫ

AI Agents 1303LLM 2064LLM Evaluation 41Agentic AI 377MCP 1593Evaluation 43LLMOps 81Benchmark 51LLM Agents 76Agent Observability 17LLM Observability 24Observability 90Browser Automation 70Browser Use 23
coze-dev/coze-loop

coze-dev/coze-loop

Next-generation AI Agent Optimization Platform: Cozeloop addresses challenges in AI agent development by providing full-lifecycle management capabilities from development

★ 5,471 · Go
Giskard-AI/giskard-oss

GISKARD-OSS - ОЦЕНКA LLM АГЕНТОВ

Библиотека для оценки и тестирования LLM агентов с открытым исходным кодом.

★ 5,417 · Python
TIGER-AI-Lab/ClawBench

ClawBench - БЕНЧМАРК ДЛЯ AI АГЕНТОВ

Open-source бенчмарк для оценки браузерных AI-агентов на повседневных задачах. Уже набрал ⭐ 385!

★ 1,301 · Python
NVIDIA/SkillEvaluator

SKILLEVALUATOR: ОЦЕНКА ИИ-АГЕНТОВ

Многоуровневый фреймворк для оценки навыков AI агентов: качественные гейты, семантическое пересечение, синтетические данные и живой тест.

★ 1,286 · Python
mozilla-ai/any-agent

ОДИН ИНТЕРФЕЙС ДЛЯ ВСЕХ АГЕНТОВ

any-agent унифицирует работу с LangGraph, CrewAI, Autogen и др. Позволяет переключать фреймворки без переписывания логики. Поддерживает A2A и MCP для межоперабельности.

★ 1,258 · Python
benchflow-ai/awesome-evals

AWESOME-EVALS

Библиотека лучших ресурсов для создания и оценки AI-агентов: статьи, блоги, инструменты и бенчмарки.

★ 1,039
jwuthri-cloud/Tracely-ai

CI/CD ДЛЯ AI АГЕНТОВ НА ТРЕЙСАХ

Tracely-ai оценивает продакшн-трейсы агентов, кластеризует ошибки и превращает в регрессионные тесты. Блокирует PR с регрессией поведения. Самостоятельно разворачивается

★ 948 · Python
TIGER-AI-Lab/WebsiteBench

БЕНЧМАРК ВОССТАНОВЛЕНИЯ ВЕБ-САЙТОВ АГЕНТАМИ

Бенчмарк для оценки способности ИИ-агентов восстанавливать полноценные веб-сайты через исследование в браузере. Содержит 70 задач с 46 916 скрытых тест-кейсов для проверк

★ 476 · Python
zgcagi/Harness-RSI

HARNESS-RSI: САМОРАЗВИТИЕ И ОЦЕНКА АГЕНТОВ

Harness-RSI — библиографический проект по рекурсивному самоулучшению AI-агентов. Содержит теорию, методы оценки, доказательства и двуязычный список литературы. 431 звезда

★ 446 · TeX
scaleapi/agentenv-framework

Фреймворк для RL-сред

Проект предоставляет открытый фреймворк для создания реалистичных окружений усиленного обучения, объединяя инструменты для артефактов, динамики и воспроизводимости.

★ 438 · Python
roy-tong/verovo

ПРОВЕРКА СЧЁТОВ AI АГЕНТОВ

Verovo проверяет счета AI-агентов и подтверждает доставку результатов. Локальный CLI пересчитывает поддерживаемые биллинги, а Buyer Ledger содержит 26 моделей оплаты инст

★ 219 · Python
amitshekhariitbhu/ai-agents-tutorial

ПОЛНЫЙ ГАЙД ПО AI АГЕНТАМ

Проект ведёт от вызова функций до многоагентных систем и оркестрации. Пошаговые уроки покрывают циклы агентов, оценку качества и мультиагентные паттерны. Идеально для ста

★ 212

Новые проекты по теме — в Telegram

Telegram →
Agent Evaluation — 12 open-source проектов на GitHub | REDDYX AI