R_REDDYX.XYZ

Evaluation: open-source проекты на GitHub

43 репозиториев по теме Evaluation, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.

// СМЕЖНЫЕ ТЕМЫ

LLM 2064Benchmark 51LLM Evaluation 41Openai 691LLMOps 81Large Language Models 151Machine Learning 188Prompt Engineering 171RAG 507Langchain 193LLM Observability 24AI Agents 1303Monitoring 51Observability 90
langfuse/langfuse

Langfuse: LLM Платформа

Открытая платформа для LLM: наблюдаемость, метрики, управление промптами, тестирование и интеграция с популярными инструментами.

★ 27,378 · TypeScript
mlflow/mlflow

MLflow — AI-платформа

Открытая платформа для AI-инженерии. Позволяет командам отлаживать, оценивать и оптимизировать приложения с ИИ, управляя доступом и затратами.

★ 26,029 · Python
promptfoo/promptfoo

Тестирование LLM-моделей

Инструмент для тестирования промптов, агентов и RAG-систем. Поддерживает сравнительный анализ GPT, Claude, Gemini, Llama и других моделей.

★ 21,294 · TypeScript
comet-ml/opik

comet-ml/opik

Debug, evaluate, and monitor your LLM applications, RAG systems, and agentic workflows with comprehensive tracing, automated evaluations, and production-ready dashboards.

★ 19,332 · Python
vibrantlabsai/ragas

LLM ОЦЕНКА RAG

Ragas — фреймворк для оценки LLM-приложений. Автоматизирует проверку качества и отслеживает ключевые метрики.

★ 16,320 · Python
open-compass/opencompass

open-compass/opencompass

OpenCompass is an LLM evaluation platform, supporting a wide range of models (Llama3, Mistral, InternLM2,GPT-4,LLaMa2, Qwen,GLM, Claude, etc) over 100+ datasets.

★ 7,022 · Python
Helicone/helicone

HELICONE ОБСЛЕДИВАНИЕ LLM В ОДНОЙ СТРОКЕ

Открытая платформа для наблюдения за LLM: мониторинг, оценка и эксперименты в одной строке кода. Поддерживает TypeScript и уже имеет 5.8k★.

★ 5,805 · TypeScript
coze-dev/coze-loop

coze-dev/coze-loop

Next-generation AI Agent Optimization Platform: Cozeloop addresses challenges in AI agent development by providing full-lifecycle management capabilities from development

★ 5,471 · Go
Kiln-AI/Kiln

Kiln-AI/Kiln

Build, Evaluate, and Optimize AI Systems. Includes evals, RAG, agents, fine-tuning, synthetic data generation, dataset management, MCP, and more.

★ 4,848 · Python
Marker-Inc-Korea/AutoRAG

AutoRAG: АВТОМАТИЗАЦИЯ RAG-СИСТЕМ

Фреймворк с открытым исходным кодом для автоматической оценки и оптимизации RAG-пайплайнов в стиле AutoML.

★ 4,804 · Python
open-compass/VLMEvalKit

VLMEvalKit - ТОП ИНСТРУМЕНТ ДЛЯ ОЦЕНКИ МОДЕЛЕЙ

Открытый инструмент для оценки мультимодальных моделей. Поддерживает 220+ LMM и 80+ бенчмарков.

★ 4,492 · Python
EvolvingLMMs-Lab/lmms-eval

LMMS-EVAL - ОДИН FAQ-СВОЙ ИСТОЧНИК ПРОВЕРКИ МОДАЛЬНОСТИ

Единый инструментарий для оценки мультимодальных моделей по задачам с текстом, изображениями, видео и аудио. 4169 звёзд на GitHub.

★ 4,169 · Python
langwatch/langwatch

LANGWATCH — ПРОВЕРЬ СВОЙ LLM

Платформа для оценки LLM и тестирования AI-агентов. Удобные инструменты для дебага и мониторинга AI-приложений.

★ 3,274 · TypeScript
modelscope/evalscope

EVALSCOPE: ТЕСТИРОВАНИЕ LLM ПРОСТО

Гибкий фреймворк Python для оценки производительности больших моделей (LLM, VLM, AIGC). ⭐2874

★ 2,874 · Python
Sahir619/fable-method

FABLE-METHOD - ТРИ КЛЮЧА

Протокол от Claude Fable 5: три шага – Think, Act, Prove – превращены в реальный workflow для любого LLM.

★ 2,313 · Python
Xnhyacinth/Awesome-LLM-Long-Context-Modeling

AWESOME LLM LONG CONTEXT - ТОП ПАПЕРЫ

Подборка must-read статей и блогов о долгосрочном контексте в LLM: новые методы, обзоры и практики.

★ 2,192
MCPJam/inspector

INSPECTOR - ОТЛАДКА MCP СЕРВЕРОВ

Платформа для тестирования, инспекции и отладки MCP-серверов, MCP-приложений и ChatGPT-приложений. 1968 ⭐

★ 1,968 · TypeScript
onestardao/WFGY

WFGY 5.0 POLARIS PROTOCOL

WFGY 5.0 — крупный open-source релиз для AI reasoning, RAG, агентов и реальных воркфлоу. 1752 ⭐

★ 1,752 · Jupyter Notebook
MLGroupJLU/LLM-eval-survey

ОБЗОР ОЦЕНКИ БОЛЬШИХ ЯЗЫКОВЫХ МОДЕЛЕЙ

Официальная страница репозитория для обзорной статьи по оценке больших языковых моделей.

★ 1,616
TIGER-AI-Lab/ClawBench

ClawBench - БЕНЧМАРК ДЛЯ AI АГЕНТОВ

Open-source бенчмарк для оценки браузерных AI-агентов на повседневных задачах. Уже набрал ⭐ 385!

★ 1,301 · Python
Jwuthri/Tracely-ai

TRACELY-AI - АВТОМАТИЧЕСКОЕ ТЕСТИРОВАНИЕ АГЕНТОВ

Tracely-ai автоматически превращает сбои ИИ‑агентов в регрессионные тесты, блокирующие PR, и воспроизводит их в CI бесплатно.

★ 1,299 · Python
NVIDIA/SkillEvaluator

SKILLEVALUATOR: ОЦЕНКА ИИ-АГЕНТОВ

Многоуровневый фреймворк для оценки навыков AI агентов: качественные гейты, семантическое пересечение, синтетические данные и живой тест.

★ 1,286 · Python
xinxuxin/keystone-bench

Клинический бенчмарк решений

Бенчмарк для оценки клинического принятия решений: извлекает единственный факт, на котором основан ответ, и проверяет, изменяет ли ассистент своё действие при изменении д

★ 1,131 · Python
BlazeUp-AI/Observal

Observal — платформа наблюдения и оценки AI-агентов

Observal — платформа для мониторинга, оценки и отладки AI-агентов с участием человека в цикле обратной связи. Необходима для создания надёжных продакшн-конвейеров.

★ 1,118 · Python
agentscope-ai/OpenJudge

OPENJUDGE - НОВЫЙ AI-ОЦЕНЩИК

Унифицированный фреймворк для оценки качества AI-агентов. 671⭐. Python.

★ 1,105 · Python
NVIDIA-NeMo/Gym

GYM - СРЕДА ДЛЯ ОЦЕНКИ И УЛУЧШЕНИХ МОДЕЛЕЙ

Помогает оценивать и улучшать LLM через среды и агентов с обратной связью и тестированием.

★ 932 · Python
AgentSafeLabs/safelabs-eval

ЗАЩИТА AI АГЕНТОВ ОТ УГРОЗ

safelabs-eval — фреймворк для red‑teaming и оценки защиты AI‑агентов, основанный на таксономии ASI01–ASI10 вдохновлённой OWASP. Написан на Python, поддерживает CrewAI, La

★ 829 · Python
chrisliu298/awesome-llm-unlearning

REPO ДЛЯ UNLEARNING LLM

Сборник статей, кода и ресурсов по машинному «unlearning» в больших языковых моделях. Помогает исследователям удалять знания из LLM.

★ 638
HowieHwong/TrustLLM

TRUSTLLM: ОЦЕНКА НАДЁЖНОСТИ LLM

TrustLLM — набор инструментов для оценки достоверности LLM, представленный на ICML 2024. Включает benchmark‑наборы, метрики и датасеты для измерения hallucinations, смеще

★ 636 · Python
DocAILab/XRAG

XRAG: ОЦЕНКА МОДУЛЕЙ RAG

XRAG оценивает ключевые компоненты RAG‑систем: индексацию, поиск и генерацию. С помощью стандартных наборов данных он сравнивает разные реализации модулей, выявляя их сил

★ 612 · Python
MMMU-Benchmark/MMMU

MMMU: МУЛЬТИМОДАЛЬНЫЙ БЕНЧМАРК

Оценка кода дляbenchmark MMMU, измеряющего мультидисциплинарное мультимодальное понимание и рассуждение для экспертного AGI.

★ 601 · Python
run-llama/ParseBench

ПАРСБЕНЧ: ОЦЕНКА AI-АГЕНТОВ

ParseBench — бенчмарк для оценки качества парсинга документов AI-агентами. Позволяет сравнивать модели на реальных наборах данных.

★ 472 · Python
CodeSoul-co/Hypha

HYPHA ФРЕЙМВОРК АГЕНТОВ

TypeScript‑фреймворк для LLM‑агентов в продакшене. Позволяет быстро создавать и управлять агентами через гибкую harness‑архитектуру.

★ 452 · TypeScript
SAILResearch/awesome-ai-leaderboard

AWESOME-AI-LEADERBOARD — РЕЙТИНГИ AI-МОДЕЛЕЙ В ОДНОМ МЕСТЕ

Кураторский список ресурсов с лидербордами для AI-домена. Бенчмарки, метрики и сравнения моделей.

★ 384
microsoft/genaiops-promptflow-template

ШАБЛОН GENAIOPS PROMPT FLOW

Шаблон GenAIOps с Prompt Flow упрощает создание LLM‑приложений через централизованное хранение кода, управление жизненным циклом и эксперименты с вариантами и гиперпараме

★ 370 · Python
microsoft/rag-experiment-accelerator

УСКОРИТЕЛЬ RAG ЭКСПЕРИМЕНТОВ

Инструмент для быстрых экспериментов с RAG и Azure Cognitive Search. Автоматизирует чанкинг, эмбеддинги и оценку качества ответов.

★ 319 · Python
rentruewang/bocoel

БОКОЭЛ: БЕЙСИАНОВАЯ ОПТИМИЗАЦИЯ ДЛЯ LLM

bocoel — фреймворк Bayesian Optimization для ускоренной оценки LLM: в 10 раз быстрее, всего несколько строк кода. Заменяет дорогие бенчмарки на точный поиск по пространст

★ 288 · Python
InternScience/ResearchClawBench

RESEARCHCLAWBENCH - ПОВЫШИМ ЭФФЕКТИВНОСТЬ ИИ ИССЛЕДОВАНИЙ

Оценка автоматизированных ИИ-агентов: от реобнаружения до новых открытий. Работает в Jupyter Notebook.

★ 280 · Jupyter Notebook
lechmazur/nyt-connections

NYT CONNECTIONS: БЕНЧМАРК ДЛЯ LLM

Бенчмарк на основе 759 головоломок NYT Connections с дополнительными trick words для оценки LLM.

★ 250 · Python
arklexai/arksim

arksim - ОБНАРУЖЬ ОШИБКИ АГЕНТОВ

arksim помогает разработчикам находить ошибки в AI-агентах до того, как они достигнут реальных пользователей, экономя время и повышая надежность.

★ 236 · Python
edonadei/caliper

ОЦЕНИТЕ АГЕНТОВ С CALIPER

Caliper запускает вашего реального агента с навыками, MCPs и правилами и без них, показывая, что действительно полезно и сколько токенов стоит. Поддерживает Claude Code,

★ 235 · Python
alopatenko/LLMEvaluation

ПОЛНОЕ РУКОВОДСТВО ПО ОЦЕНКЕ LLM

Проект LLMEvaluation предлагает полный гайд по методам оценки больших языковых моделей, помогая выбрать оптимальную технику для конкретных use-cases. В нём собраны таксон

★ 208 · HTML
AMAP-ML/LoopArena

Платформа бенчмаркинга моделей

Проект предоставляет инструменты для сравнения машинных моделей в роли реального времени контроллеров инженерных петель, измеряя их задержку, стабильность и потребление р

★ 155 · Python

Новые проекты по теме — в Telegram

Telegram →
Evaluation — 43 open-source проектов на GitHub | REDDYX AI