Evaluation: open-source проекты на GitHub
43 репозиториев по теме Evaluation, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.
// СМЕЖНЫЕ ТЕМЫ
Langfuse: LLM Платформа
Открытая платформа для LLM: наблюдаемость, метрики, управление промптами, тестирование и интеграция с популярными инструментами.
★ 27,378 · TypeScriptMLflow — AI-платформа
Открытая платформа для AI-инженерии. Позволяет командам отлаживать, оценивать и оптимизировать приложения с ИИ, управляя доступом и затратами.
★ 26,029 · PythonТестирование LLM-моделей
Инструмент для тестирования промптов, агентов и RAG-систем. Поддерживает сравнительный анализ GPT, Claude, Gemini, Llama и других моделей.
★ 21,294 · TypeScriptcomet-ml/opik
Debug, evaluate, and monitor your LLM applications, RAG systems, and agentic workflows with comprehensive tracing, automated evaluations, and production-ready dashboards.
★ 19,332 · PythonLLM ОЦЕНКА RAG
Ragas — фреймворк для оценки LLM-приложений. Автоматизирует проверку качества и отслеживает ключевые метрики.
★ 16,320 · Pythonopen-compass/opencompass
OpenCompass is an LLM evaluation platform, supporting a wide range of models (Llama3, Mistral, InternLM2,GPT-4,LLaMa2, Qwen,GLM, Claude, etc) over 100+ datasets.
★ 7,022 · PythonHELICONE ОБСЛЕДИВАНИЕ LLM В ОДНОЙ СТРОКЕ
Открытая платформа для наблюдения за LLM: мониторинг, оценка и эксперименты в одной строке кода. Поддерживает TypeScript и уже имеет 5.8k★.
★ 5,805 · TypeScriptcoze-dev/coze-loop
Next-generation AI Agent Optimization Platform: Cozeloop addresses challenges in AI agent development by providing full-lifecycle management capabilities from development
★ 5,471 · GoKiln-AI/Kiln
Build, Evaluate, and Optimize AI Systems. Includes evals, RAG, agents, fine-tuning, synthetic data generation, dataset management, MCP, and more.
★ 4,848 · PythonAutoRAG: АВТОМАТИЗАЦИЯ RAG-СИСТЕМ
Фреймворк с открытым исходным кодом для автоматической оценки и оптимизации RAG-пайплайнов в стиле AutoML.
★ 4,804 · PythonVLMEvalKit - ТОП ИНСТРУМЕНТ ДЛЯ ОЦЕНКИ МОДЕЛЕЙ
Открытый инструмент для оценки мультимодальных моделей. Поддерживает 220+ LMM и 80+ бенчмарков.
★ 4,492 · PythonLMMS-EVAL - ОДИН FAQ-СВОЙ ИСТОЧНИК ПРОВЕРКИ МОДАЛЬНОСТИ
Единый инструментарий для оценки мультимодальных моделей по задачам с текстом, изображениями, видео и аудио. 4169 звёзд на GitHub.
★ 4,169 · PythonLANGWATCH — ПРОВЕРЬ СВОЙ LLM
Платформа для оценки LLM и тестирования AI-агентов. Удобные инструменты для дебага и мониторинга AI-приложений.
★ 3,274 · TypeScriptEVALSCOPE: ТЕСТИРОВАНИЕ LLM ПРОСТО
Гибкий фреймворк Python для оценки производительности больших моделей (LLM, VLM, AIGC). ⭐2874
★ 2,874 · PythonFABLE-METHOD - ТРИ КЛЮЧА
Протокол от Claude Fable 5: три шага – Think, Act, Prove – превращены в реальный workflow для любого LLM.
★ 2,313 · PythonAWESOME LLM LONG CONTEXT - ТОП ПАПЕРЫ
Подборка must-read статей и блогов о долгосрочном контексте в LLM: новые методы, обзоры и практики.
★ 2,192INSPECTOR - ОТЛАДКА MCP СЕРВЕРОВ
Платформа для тестирования, инспекции и отладки MCP-серверов, MCP-приложений и ChatGPT-приложений. 1968 ⭐
★ 1,968 · TypeScriptWFGY 5.0 POLARIS PROTOCOL
WFGY 5.0 — крупный open-source релиз для AI reasoning, RAG, агентов и реальных воркфлоу. 1752 ⭐
★ 1,752 · Jupyter NotebookОБЗОР ОЦЕНКИ БОЛЬШИХ ЯЗЫКОВЫХ МОДЕЛЕЙ
Официальная страница репозитория для обзорной статьи по оценке больших языковых моделей.
★ 1,616ClawBench - БЕНЧМАРК ДЛЯ AI АГЕНТОВ
Open-source бенчмарк для оценки браузерных AI-агентов на повседневных задачах. Уже набрал ⭐ 385!
★ 1,301 · PythonTRACELY-AI - АВТОМАТИЧЕСКОЕ ТЕСТИРОВАНИЕ АГЕНТОВ
Tracely-ai автоматически превращает сбои ИИ‑агентов в регрессионные тесты, блокирующие PR, и воспроизводит их в CI бесплатно.
★ 1,299 · PythonSKILLEVALUATOR: ОЦЕНКА ИИ-АГЕНТОВ
Многоуровневый фреймворк для оценки навыков AI агентов: качественные гейты, семантическое пересечение, синтетические данные и живой тест.
★ 1,286 · PythonКлинический бенчмарк решений
Бенчмарк для оценки клинического принятия решений: извлекает единственный факт, на котором основан ответ, и проверяет, изменяет ли ассистент своё действие при изменении д
★ 1,131 · PythonObserval — платформа наблюдения и оценки AI-агентов
Observal — платформа для мониторинга, оценки и отладки AI-агентов с участием человека в цикле обратной связи. Необходима для создания надёжных продакшн-конвейеров.
★ 1,118 · PythonOPENJUDGE - НОВЫЙ AI-ОЦЕНЩИК
Унифицированный фреймворк для оценки качества AI-агентов. 671⭐. Python.
★ 1,105 · PythonGYM - СРЕДА ДЛЯ ОЦЕНКИ И УЛУЧШЕНИХ МОДЕЛЕЙ
Помогает оценивать и улучшать LLM через среды и агентов с обратной связью и тестированием.
★ 932 · PythonЗАЩИТА AI АГЕНТОВ ОТ УГРОЗ
safelabs-eval — фреймворк для red‑teaming и оценки защиты AI‑агентов, основанный на таксономии ASI01–ASI10 вдохновлённой OWASP. Написан на Python, поддерживает CrewAI, La
★ 829 · PythonREPO ДЛЯ UNLEARNING LLM
Сборник статей, кода и ресурсов по машинному «unlearning» в больших языковых моделях. Помогает исследователям удалять знания из LLM.
★ 638TRUSTLLM: ОЦЕНКА НАДЁЖНОСТИ LLM
TrustLLM — набор инструментов для оценки достоверности LLM, представленный на ICML 2024. Включает benchmark‑наборы, метрики и датасеты для измерения hallucinations, смеще
★ 636 · PythonXRAG: ОЦЕНКА МОДУЛЕЙ RAG
XRAG оценивает ключевые компоненты RAG‑систем: индексацию, поиск и генерацию. С помощью стандартных наборов данных он сравнивает разные реализации модулей, выявляя их сил
★ 612 · PythonMMMU: МУЛЬТИМОДАЛЬНЫЙ БЕНЧМАРК
Оценка кода дляbenchmark MMMU, измеряющего мультидисциплинарное мультимодальное понимание и рассуждение для экспертного AGI.
★ 601 · PythonПАРСБЕНЧ: ОЦЕНКА AI-АГЕНТОВ
ParseBench — бенчмарк для оценки качества парсинга документов AI-агентами. Позволяет сравнивать модели на реальных наборах данных.
★ 472 · PythonHYPHA ФРЕЙМВОРК АГЕНТОВ
TypeScript‑фреймворк для LLM‑агентов в продакшене. Позволяет быстро создавать и управлять агентами через гибкую harness‑архитектуру.
★ 452 · TypeScriptAWESOME-AI-LEADERBOARD — РЕЙТИНГИ AI-МОДЕЛЕЙ В ОДНОМ МЕСТЕ
Кураторский список ресурсов с лидербордами для AI-домена. Бенчмарки, метрики и сравнения моделей.
★ 384ШАБЛОН GENAIOPS PROMPT FLOW
Шаблон GenAIOps с Prompt Flow упрощает создание LLM‑приложений через централизованное хранение кода, управление жизненным циклом и эксперименты с вариантами и гиперпараме
★ 370 · PythonУСКОРИТЕЛЬ RAG ЭКСПЕРИМЕНТОВ
Инструмент для быстрых экспериментов с RAG и Azure Cognitive Search. Автоматизирует чанкинг, эмбеддинги и оценку качества ответов.
★ 319 · PythonБОКОЭЛ: БЕЙСИАНОВАЯ ОПТИМИЗАЦИЯ ДЛЯ LLM
bocoel — фреймворк Bayesian Optimization для ускоренной оценки LLM: в 10 раз быстрее, всего несколько строк кода. Заменяет дорогие бенчмарки на точный поиск по пространст
★ 288 · PythonRESEARCHCLAWBENCH - ПОВЫШИМ ЭФФЕКТИВНОСТЬ ИИ ИССЛЕДОВАНИЙ
Оценка автоматизированных ИИ-агентов: от реобнаружения до новых открытий. Работает в Jupyter Notebook.
★ 280 · Jupyter NotebookNYT CONNECTIONS: БЕНЧМАРК ДЛЯ LLM
Бенчмарк на основе 759 головоломок NYT Connections с дополнительными trick words для оценки LLM.
★ 250 · Pythonarksim - ОБНАРУЖЬ ОШИБКИ АГЕНТОВ
arksim помогает разработчикам находить ошибки в AI-агентах до того, как они достигнут реальных пользователей, экономя время и повышая надежность.
★ 236 · PythonОЦЕНИТЕ АГЕНТОВ С CALIPER
Caliper запускает вашего реального агента с навыками, MCPs и правилами и без них, показывая, что действительно полезно и сколько токенов стоит. Поддерживает Claude Code,
★ 235 · PythonПОЛНОЕ РУКОВОДСТВО ПО ОЦЕНКЕ LLM
Проект LLMEvaluation предлагает полный гайд по методам оценки больших языковых моделей, помогая выбрать оптимальную технику для конкретных use-cases. В нём собраны таксон
★ 208 · HTMLПлатформа бенчмаркинга моделей
Проект предоставляет инструменты для сравнения машинных моделей в роли реального времени контроллеров инженерных петель, измеряя их задержку, стабильность и потребление р
★ 155 · PythonНовые проекты по теме — в Telegram
Telegram →