R_REDDYX.XYZ

LLM Evaluation: open-source проекты на GitHub

41 репозиториев по теме LLM Evaluation, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.

// СМЕЖНЫЕ ТЕМЫ

LLM 2064LLMOps 81AI Agents 1303Evaluation 43LLM Observability 24Langchain 193MCP 1593Large Language Models 151Observability 90Openai 691Prompt Engineering 171Benchmark 51RAG 507Agentic AI 377
langfuse/langfuse

Langfuse: LLM Платформа

Открытая платформа для LLM: наблюдаемость, метрики, управление промптами, тестирование и интеграция с популярными инструментами.

★ 27,378 · TypeScript
mlflow/mlflow

MLflow — AI-платформа

Открытая платформа для AI-инженерии. Позволяет командам отлаживать, оценивать и оптимизировать приложения с ИИ, управляя доступом и затратами.

★ 26,029 · Python
promptfoo/promptfoo

Тестирование LLM-моделей

Инструмент для тестирования промптов, агентов и RAG-систем. Поддерживает сравнительный анализ GPT, Claude, Gemini, Llama и других моделей.

★ 21,294 · TypeScript
comet-ml/opik

comet-ml/opik

Debug, evaluate, and monitor your LLM applications, RAG systems, and agentic workflows with comprehensive tracing, automated evaluations, and production-ready dashboards.

★ 19,332 · Python
Arize-ai/phoenix

AI наблюдательность платформы

Платформа для наблюдения и оценки ИИ-моделей: мониторинг качества, обнаружение дрейфа данных и интерактивная визуализация.

★ 9,652 · Python
oumi-ai/oumi

OUMI ЛЁГКАЯ НАСТРОЙКА LLM

OUMI позволяет быстро fine‑tune (SFT/RL), оценивать и развёртывать модели Qwen, Gemma и любые открытые агентные LLM/VLM без лишней сложности.

★ 9,433 · Python
Helicone/helicone

HELICONE ОБСЛЕДИВАНИЕ LLM В ОДНОЙ СТРОКЕ

Открытая платформа для наблюдения за LLM: мониторинг, оценка и эксперименты в одной строке кода. Поддерживает TypeScript и уже имеет 5.8k★.

★ 5,805 · TypeScript
Giskard-AI/giskard-oss

GISKARD-OSS - ОЦЕНКA LLM АГЕНТОВ

Библиотека для оценки и тестирования LLM агентов с открытым исходным кодом.

★ 5,417 · Python
Agenta-AI/agenta

AGENTA: ИИ АГЕНТЫ В ЧАТЕ

Agenta — это открытая платформа для создания AI-агентов через чат, их совместного использования и запуска по расписанию или событиям приложения.

★ 4,911 · TypeScript
Marker-Inc-Korea/AutoRAG

AutoRAG: АВТОМАТИЗАЦИЯ RAG-СИСТЕМ

Фреймворк с открытым исходным кодом для автоматической оценки и оптимизации RAG-пайплайнов в стиле AutoML.

★ 4,804 · Python
EvolvingLMMs-Lab/lmms-eval

LMMS-EVAL - ОДИН FAQ-СВОЙ ИСТОЧНИК ПРОВЕРКИ МОДАЛЬНОСТИ

Единый инструментарий для оценки мультимодальных моделей по задачам с текстом, изображениями, видео и аудио. 4169 звёзд на GitHub.

★ 4,169 · Python
Tencent/AI-Infra-Guard

БЕЗОПАСНОСТЬ AI-СИСТЕМ

Платформа для тестирования безопасности AI-экосистем: сканирование инфраструктуры, MCP, агентов и оценка jailbreak-атак.

★ 3,790 · Python
hemansnation/AI-Engineer-Headquarters

AI‑ENGINEER HQ: НАУЧНЫЙ ТОЛК

Проект содержит Jupyter‑ноутбуки с методами обучения моделей, пайплайны RAG на LangChain и алгоритмы структур данных для AI‑агентов. Позволяет быстро создавать, тестирова

★ 3,780 · Jupyter Notebook
genieincodebottle/generative-ai

ГЕНЕРАТИВНЫЙ ИИ ROADMAP ПРОЕКТЫ

Коллекция ресурсов по генеративному ИИ: дорожная карта, проекты, подготовка к интервью и кодингу.

★ 2,670 · Jupyter Notebook
TIGER-AI-Lab/ClawBench

ClawBench - БЕНЧМАРК ДЛЯ AI АГЕНТОВ

Open-source бенчмарк для оценки браузерных AI-агентов на повседневных задачах. Уже набрал ⭐ 385!

★ 1,301 · Python
Jwuthri/Tracely-ai

TRACELY-AI - АВТОМАТИЧЕСКОЕ ТЕСТИРОВАНИЕ АГЕНТОВ

Tracely-ai автоматически превращает сбои ИИ‑агентов в регрессионные тесты, блокирующие PR, и воспроизводит их в CI бесплатно.

★ 1,299 · Python
cvs-health/uqlm

UQLM: ДЕТЕКТИРУЕМ ГАЛЛЮЦИНАЦИИ LLM

Python-пакет для обнаружения галлюцинаций языковых моделей на основе количественной оценки неопределённости.

★ 1,217 · Python
xinxuxin/keystone-bench

Клинический бенчмарк решений

Бенчмарк для оценки клинического принятия решений: извлекает единственный факт, на котором основан ответ, и проверяет, изменяет ли ассистент своё действие при изменении д

★ 1,131 · Python
BlazeUp-AI/Observal

Observal — платформа наблюдения и оценки AI-агентов

Observal — платформа для мониторинга, оценки и отладки AI-агентов с участием человека в цикле обратной связи. Необходима для создания надёжных продакшн-конвейеров.

★ 1,118 · Python
benchflow-ai/awesome-evals

AWESOME-EVALS

Библиотека лучших ресурсов для создания и оценки AI-агентов: статьи, блоги, инструменты и бенчмарки.

★ 1,039
JudgmentLabs/judgeval

JUDGEVAL СТЕК ДЛЯ АГЕНТОВ

Платформа для непрерывного улучшения AI-агентов: сбор данных окружения и оценки для мониторинга и роста.

★ 1,036 · Python
jwuthri-cloud/Tracely-ai

CI/CD ДЛЯ AI АГЕНТОВ НА ТРЕЙСАХ

Tracely-ai оценивает продакшн-трейсы агентов, кластеризует ошибки и превращает в регрессионные тесты. Блокирует PR с регрессией поведения. Самостоятельно разворачивается

★ 948 · Python
superwesleyhys-ux/factcircuit

Платформа проверки фактов FactCircuit

FactCircuit — это аудитируемый цикл проверки утверждений и доказательств с неизменяемой provenance, поэтапными проверками, ограниченным поиском и воспроизводимой оценкой.

★ 927 · Python
overmind-core/overmind

OVERMIND: ПЛАТФОРМА ДЛЯ ИИ-АГЕНТОВ

Overmind — платформа для непрерывного улучшения AI‑агентов: автоматическая оценка, fine‑tuning и интеграция с LLM‑операциями. Позволяет отслеживать метрики, запускать экс

★ 759 · Python
Continuum-AI-Corp/OrcaReplay

ORCA REPLAY: ВРЕМЕННЫЕ ПУТЕШЕСТВИЯ

OrcaReplay записывает любой запуск AI-агента и позволяет воспроизводить его шаг за шагом. Вы можете создавать форки для экспериментов и отлаживать состояние на каждом эта

★ 727 · TypeScript
EverMind-AI/SkillCorpus

Корпус навыков для агентов

Проект собирает файлы SKILL.md в единый поисковый каталог навыков для ИИ‑агентов, обеспечивая быстрый поиск и автоматическую оценку соответствия задачам.

★ 703 · Python
ValueByte-AI/Awesome-LLM-in-Social-Science

НОВОСТИ LLM В СОЦИАЛЬНОЙ НАУКЕ

Коллекция выдающихся работ, где языковые модели применяются в социальных науках. Идеально для исследователей и студентов.

★ 653
relari-ai/continuous-eval

CONTINUOUS-EVAL - ОЦЕНКА LLM НА ДАННЫХ

Платформа для автоматической оценки LLM‑приложений на основе реальных данных. Позволяет измерять качество и улучшать модели без ручного труда.

★ 519 · Python
OmniJev/awesome-jev-gallery

AWESOME JEV GALLERY: ПАПЕРЫ И ВОСПРОИЗВОДЕНИЯ

Awesome Jev Gallery — подборка статей, открытых воспроизведений и независимых оценок моделей System One и Jev. Включает ссылки на код, метрики калибровки и анализы decisi

★ 493 · JavaScript
scaleapi/agentenv-framework

Фреймворк для RL-сред

Проект предоставляет открытый фреймворк для создания реалистичных окружений усиленного обучения, объединяя инструменты для артефактов, динамики и воспроизводимости.

★ 438 · Python
rhesis-ai/rhesis

СЛОЙ КОЛЛАБОРАЦИИ ДЛЯ AI АГЕНТОВ

Rhesis — платформа для тестирования, симуляции и трассировки AI-агентов. Эксперты аннотируют поведение, инженеры улучшают агента на основе найденных проблем. Закрывает ци

★ 404 · Python
ukanwat/overtime

OVERTIME: АГЕНТ ДЛЯ ИГРОВОЙ РАЗРАБОТКИ

Проект overtime позволяет задать краткое техническое задание ИИ‑агенту, после чего агент автономно выполняет работу в следующих сессиях. В демонстрации он построил открыт

★ 402 · TypeScript
darkrishabh/agent-skills-eval

Оценщик навыков AI-агентов

Автоматизированный фреймворк для тестирования и оценки производительности AI-агентов в формате agentskills.io.

★ 393 · TypeScript
PetroIvaniuk/llms-tools

КАТАЛОГ ИНСТРУМЕНТОВ LLM

llms-tools — это curated список более 200 инструментов и проектов для работы с большими языковыми моделями. Проект помогает быстро находить нужные решения для AI-чатботов

★ 331
cvs-health/langfair

LANGFAR ОЦЕНКА СМЕЩЕНИЯ LLM

Библиотека на Python для оценки смещения и справедливости LLM на уровне конкретных use‑case.

★ 261 · Python
LeoYeAI/myclaw-bench

МЫКЛОУ БЕНЧ: ТЕСТ AI АГЕНТОВ

Тест ИИ-агентов на 45 задачах по 4 уровням сложности. Powered by MyClaw.ai.

★ 222 · Python
jackson-cmd/risk-aware-trading-agents

AI-АГЕНТЫ ДЛЯ ТОРГОВЛИ АКЦИЯМИ С БЭКТЕСТИНГОМ НОВОСТЕЙ

Набор AI-агентов для торговли американскими акциями с честным бэктестингом новостей: заголовки воспроизводятся по минуте публикации, сделки исполняются на следующем откры

★ 222 · Python
alopatenko/LLMEvaluation

ПОЛНОЕ РУКОВОДСТВО ПО ОЦЕНКЕ LLM

Проект LLMEvaluation предлагает полный гайд по методам оценки больших языковых моделей, помогая выбрать оптимальную технику для конкретных use-cases. В нём собраны таксон

★ 208 · HTML
phuryn/bug-hunt-bench

НАЙТИ 105 БАГОВ

Bug Hunt Bench — бенчмарк 105 реальных багов в 2 репозиториях. AI-модели (GPT-6, Claude, Grok, Gemini, DeepSeek) находят и исправляют их в CLI, оцениваются слепо на лидер

★ 207 · JavaScript
jsdhwfmax/EvalForge

EVALFORGE — ОЦЕНКА LLM В CI

EvalForge — инструмент для оценки LLM в CI/CD. Предоставляет независимые от оценщика доказательства, гейты регрессии базовых линий и отчёты JSON, JUnit, SARIF. Интегрируе

★ 194 · Python
juanjuandog/FinSight-AI

FinSight-AI — финансы с ИИ

AI-агент для анализа акций: отказоустойчивые пайплайны, RAG через pgvector, версионирование отчётов и полная трассировка доказательств.

★ 118 · Java

Новые проекты по теме — в Telegram

Telegram →
LLM Evaluation — 41 open-source проектов на GitHub | REDDYX AI