Agent Evaluation: open-source проекты на GitHub
12 репозиториев по теме Agent Evaluation, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.
// СМЕЖНЫЕ ТЕМЫ
coze-dev/coze-loop
Next-generation AI Agent Optimization Platform: Cozeloop addresses challenges in AI agent development by providing full-lifecycle management capabilities from development
★ 5,471 · GoGISKARD-OSS - ОЦЕНКA LLM АГЕНТОВ
Библиотека для оценки и тестирования LLM агентов с открытым исходным кодом.
★ 5,417 · PythonClawBench - БЕНЧМАРК ДЛЯ AI АГЕНТОВ
Open-source бенчмарк для оценки браузерных AI-агентов на повседневных задачах. Уже набрал ⭐ 385!
★ 1,301 · PythonSKILLEVALUATOR: ОЦЕНКА ИИ-АГЕНТОВ
Многоуровневый фреймворк для оценки навыков AI агентов: качественные гейты, семантическое пересечение, синтетические данные и живой тест.
★ 1,286 · PythonОДИН ИНТЕРФЕЙС ДЛЯ ВСЕХ АГЕНТОВ
any-agent унифицирует работу с LangGraph, CrewAI, Autogen и др. Позволяет переключать фреймворки без переписывания логики. Поддерживает A2A и MCP для межоперабельности.
★ 1,258 · PythonAWESOME-EVALS
Библиотека лучших ресурсов для создания и оценки AI-агентов: статьи, блоги, инструменты и бенчмарки.
★ 1,039CI/CD ДЛЯ AI АГЕНТОВ НА ТРЕЙСАХ
Tracely-ai оценивает продакшн-трейсы агентов, кластеризует ошибки и превращает в регрессионные тесты. Блокирует PR с регрессией поведения. Самостоятельно разворачивается
★ 948 · PythonБЕНЧМАРК ВОССТАНОВЛЕНИЯ ВЕБ-САЙТОВ АГЕНТАМИ
Бенчмарк для оценки способности ИИ-агентов восстанавливать полноценные веб-сайты через исследование в браузере. Содержит 70 задач с 46 916 скрытых тест-кейсов для проверк
★ 476 · PythonHARNESS-RSI: САМОРАЗВИТИЕ И ОЦЕНКА АГЕНТОВ
Harness-RSI — библиографический проект по рекурсивному самоулучшению AI-агентов. Содержит теорию, методы оценки, доказательства и двуязычный список литературы. 431 звезда
★ 446 · TeXФреймворк для RL-сред
Проект предоставляет открытый фреймворк для создания реалистичных окружений усиленного обучения, объединяя инструменты для артефактов, динамики и воспроизводимости.
★ 438 · PythonПРОВЕРКА СЧЁТОВ AI АГЕНТОВ
Verovo проверяет счета AI-агентов и подтверждает доставку результатов. Локальный CLI пересчитывает поддерживаемые биллинги, а Buyer Ledger содержит 26 моделей оплаты инст
★ 219 · PythonПОЛНЫЙ ГАЙД ПО AI АГЕНТАМ
Проект ведёт от вызова функций до многоагентных систем и оркестрации. Пошаговые уроки покрывают циклы агентов, оценку качества и мультиагентные паттерны. Идеально для ста
★ 212Новые проекты по теме — в Telegram
Telegram →