R_REDDYX.XYZ

Benchmark: open-source проекты на GitHub

51 репозиториев по теме Benchmark, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.

// СМЕЖНЫЕ ТЕМЫ

LLM 2064Evaluation 43AI Agents 1303LLM Evaluation 41Multimodal 144MCP 1593Large Language Models 151VLM 50Agent 540Claude Code 1573AI Agent 680Codex 841Machine Learning 188Dataset 15
open-compass/opencompass

open-compass/opencompass

OpenCompass is an LLM evaluation platform, supporting a wide range of models (Llama3, Mistral, InternLM2,GPT-4,LLaMa2, Qwen,GLM, Claude, etc) over 100+ datasets.

★ 7,022 · Python
EvolvingLMMs-Lab/lmms-eval

LMMS-EVAL - ОДИН FAQ-СВОЙ ИСТОЧНИК ПРОВЕРКИ МОДАЛЬНОСТИ

Единый инструментарий для оценки мультимодальных моделей по задачам с текстом, изображениями, видео и аудио. 4169 звёзд на GitHub.

★ 4,169 · Python
embeddings-benchmark/mteb

MTEB - БЕНЧМАРК ДЛЯ ВЛОЖЕНИЙ ТЕКСТОВ

Масштабный бенчмарк для оценки качества text embeddings. 800+ задач на 50+ языках.

★ 3,287 · Python
xlang-ai/OSWorld

OSWorld: БЕНЧМАРК ДЛЯ AI-АГЕНТОВ

OSWorld — бенчмарк для оценки мультимодальных AI-агентов в реальных компьютерных средах. Открытые задачи в настоящих ОС.

★ 2,911 · Python
OpenGVLab/InternVideo

INTERNVIDEO ВИДЕО ФОНДАЦИЯ МОДЕЛЕЙ

Проект InternVideo предлагает открытые видео-фoundation модели и датасет для multimodal понимания, представленный на ECCV2024.

★ 2,281 · Python
Xnhyacinth/Awesome-LLM-Long-Context-Modeling

AWESOME LLM LONG CONTEXT - ТОП ПАПЕРЫ

Подборка must-read статей и блогов о долгосрочном контексте в LLM: новые методы, обзоры и практики.

★ 2,192
uber/ADR

ADR: БЕЗОПАСНОСТЬ AI‑АГЕНТОВ В UBER

ADR обеспечивает наблюдаемость, тестирование безопасности и обнаружение угроз для корпоративных ИИ‑агентов, уже используется в Uber.

★ 2,135 · Python
hotpath-rs/hotpath

HOTPATH: ПРОФАЙЛЕР ДЛЯ PRODUCTION

Hotpath — профайлер на Rust для CPU, памяти, SQL, HTTP и async-кода. Экспортит метрики в Prometheus и рисует дашборды в Grafana. У проекта 1896 звёзд на GitHub.

★ 1,925 · Rust
sunlabuiuc/PyHealth

ИНСТРУМЕНТЫ ДЛЯ МЕДИЦИНСКОГО AI

PyHealth — библиотека для healthcare AI с поддержкой EHR (MIMIC, eICU, OMOP), клинических текстов, сигналов и изображений. 30+ моделей и воспроизводимые пайплайны для исс

★ 1,699 · Python
MLGroupJLU/LLM-eval-survey

ОБЗОР ОЦЕНКИ БОЛЬШИХ ЯЗЫКОВЫХ МОДЕЛЕЙ

Официальная страница репозитория для обзорной статьи по оценке больших языковых моделей.

★ 1,616
pawurb/hotpath-rs

НАХОДИ БОТЛНЕКИ В RUST ЗА СЕКУНДЫ

hotpath-rs — один профайлер для CPU, времени, памяти и async-кода. Быстро находит узкие места в вашем Rust-проекте.

★ 1,517 · Rust
dadhi/FastExpressionCompiler

БЫСТРЫЙ КОМПИЛЯТОР ДЛЯ ЭКСПРЕССИЙ

FastExpressionCompiler — быстрый компилятор деревьев выражений C# и лёгкая альтернатива LightExpression. Предоставляет инструменты диагностики и генерации кода для выраже

★ 1,380 · C#
sierra-research/tau2-bench

TAU2-BENCH: БЕНЧМАРК ДЛЯ AI АГЕНТОВ

τ-Bench тестирует AI‑агентов в реальных задачах. Проект на Python уже имеет 1.3k ★.

★ 1,319 · Python
TIGER-AI-Lab/ClawBench

ClawBench - БЕНЧМАРК ДЛЯ AI АГЕНТОВ

Open-source бенчмарк для оценки браузерных AI-агентов на повседневных задачах. Уже набрал ⭐ 385!

★ 1,301 · Python
NVIDIA/SkillEvaluator

SKILLEVALUATOR: ОЦЕНКА ИИ-АГЕНТОВ

Многоуровневый фреймворк для оценки навыков AI агентов: качественные гейты, семантическое пересечение, синтетические данные и живой тест.

★ 1,286 · Python
xinxuxin/keystone-bench

Клинический бенчмарк решений

Бенчмарк для оценки клинического принятия решений: извлекает единственный факт, на котором основан ответ, и проверяет, изменяет ли ассистент своё действие при изменении д

★ 1,131 · Python
itayinbarr/little-coder

Кодовый агент для LLM

Кодовый агент, оптимизирован для меньших LLM.

★ 1,083 · TypeScript
SemiAnalysisAI/InferenceX

INFERENCEX – БЕНЧМАРК ИНФЕРЕНСЕ

Open‑source бенчмарк непрерывного инференса для Qwen3.5, DeepSeek, GPTOSS и новых ускорителей.

★ 1,016 · Python
Tiger3807861189/GLM-5.3-Flash-J-Space-Capability-Realization-Report

GLM-5.3 FLASH И J-SPACE BENCHMARK

Проект демонстрирует интеграцию GLM-5.3 Flash с J-Space для benchmark‑оценки J-Space Cognition Suite. Показаны результаты реализации агентских навыков и их сравнение с ба

★ 1,016
Purewhiter/mobilegym

MOBILEGYM: АНДРОИД АГЕНТ ТРЕНИРОВКА

MobileGym — это браузер-хостированный Android‑эмулятор для исследовательской работы с мобильными GUI‑агентами. Платформа обеспечивает проверяемую оценку и высокопараллель

★ 866 · Python
TIGER-AI-Lab/VLM2Vec

VLM2Vec: ВЕКТОРНЫЕ МОДЕЛИ ДЛЯ МУЛЬТИМОДАЛЬНОСТИ

Библиотека реализует метод VLM2Vec для обучения Vision‑Language моделей, создающих эффективные мультимодальные эмбеддинги. Представлена на ICLR 2025.

★ 704 · Python
EverMind-AI/SkillCorpus

Корпус навыков для агентов

Проект собирает файлы SKILL.md в единый поисковый каталог навыков для ИИ‑агентов, обеспечивая быстрый поиск и автоматическую оценку соответствия задачам.

★ 703 · Python
with-pebbly/aseprite-ai-artist

AI ХУДОЖНИК ДЛЯ ASEPRITE

Агент рисует пиксель‑арт прямо в открытом окне Aseprite. Он использует MCP‑сервер и навыки для Claude Code, omp, Codex, Gemini CLI и Cursor — рисует, проверяет, анимирует

★ 694 · TypeScript
HowieHwong/TrustLLM

TRUSTLLM: ОЦЕНКА НАДЁЖНОСТИ LLM

TrustLLM — набор инструментов для оценки достоверности LLM, представленный на ICML 2024. Включает benchmark‑наборы, метрики и датасеты для измерения hallucinations, смеще

★ 636 · Python
TIGER-AI-Lab/WebsiteBench

БЕНЧМАРК ВОССТАНОВЛЕНИЯ ВЕБ-САЙТОВ АГЕНТАМИ

Бенчмарк для оценки способности ИИ-агентов восстанавливать полноценные веб-сайты через исследование в браузере. Содержит 70 задач с 46 916 скрытых тест-кейсов для проверк

★ 476 · Python
run-llama/ParseBench

ПАРСБЕНЧ: ОЦЕНКА AI-АГЕНТОВ

ParseBench — бенчмарк для оценки качества парсинга документов AI-агентами. Позволяет сравнивать модели на реальных наборах данных.

★ 472 · Python
microsoft/OpenRCA

OpenRCA: ИИ НАХОДИТ ПРИЧИНЫ СБОЕВ В КОДЕ

OpenRCA — фреймворк на базе LLM для автоматического поиска root cause сбоев в программном обеспечении. Принят на ICLR'25.

★ 453 · Python
eval-sys/mcpmark

MCPMark: БЕНЧМАРК ДЛЯ AI-АГЕНТОВ

Комплексный MCP бенчмарк для тестирования моделей и агентов в реальных сценариях использования. 426 звёзд на GitHub.

★ 426 · Python
xlang-ai/OSWorld-V2

OSWorld-V2 - ИСПЫТАНИЕ АГЕНТОВ В РЕАЛЬНЫХ ЗАДАЧАХ

OSWorld 2.0 оценивает способность ИИ-агентов выполнять длительные реальные задачи на компьютере, используя только Python.

★ 421 · Python
Entrpi/ds4-on-spark

DS4 НА SPARK: УСКОРЕНИЕ 3X

Однокомандная установка fork ds4 на NVIDIA DGX Spark с ~3‑кратным ускорением prefill и ~1.5‑кратным decode.

★ 415 · Shell
OpenMOSS/EasyWAM

EasyWAM для WAM

EasyWAM предоставляет единый интерфейс для обучения, дообучения и оценки моделей мировых действий (WAM) в разных средах. Поддерживает гибкую настройку и работу с PyTorch/

★ 411 · Python
ukanwat/overtime

OVERTIME: АГЕНТ ДЛЯ ИГРОВОЙ РАЗРАБОТКИ

Проект overtime позволяет задать краткое техническое задание ИИ‑агенту, после чего агент автономно выполняет работу в следующих сессиях. В демонстрации он построил открыт

★ 402 · TypeScript
aidatatools/ollama-benchmark

БЕНЧМАРК ПРОИЗВОДИТЕЛЬНОСТИ LLM

Инструмент для измерения пропускной способности локальных LLM через Ollama. Запускает нагрузочные тесты и выдаёт статистику токенов в секунду.

★ 399 · Python
SAILResearch/awesome-ai-leaderboard

AWESOME-AI-LEADERBOARD — РЕЙТИНГИ AI-МОДЕЛЕЙ В ОДНОМ МЕСТЕ

Кураторский список ресурсов с лидербордами для AI-домена. Бенчмарки, метрики и сравнения моделей.

★ 384
hogeheer499-commits/strix-halo-guide

STRIX HALO LLM НАСТРОЙКА

Руководство по LLM на Ryzen AI MAX+ 395 и Radeon 8060S через Ollama, llama.cpp и ROCm. Достигаем 100 токен/с 30B Qwen и 140 токен/с CHADROCK MTP.

★ 373 · Python
Ammaar-Alam/minebench

MINEBENCH: БЕНЧМАРК ДЛЯ ИИ

Minecraft‑стильный воксельный бенчмарк, сравнивающий ИИ‑модели в арене и песочнице.

★ 342 · TypeScript
Tongyi-MAI/MobileWorld

MOBILEWORLD - БЕНЧМАРК МОБИЛЬНЫХ АГЕНТОВ

Бенчмарк для автономных мобильных агентов в интерактивных средах с поддержкой MCP. ACL 2026.

★ 301 · Python
LynnReal-AI/LynnReal-Omni

LYNNREAL-OMNI: ВИДЕО ЗА 4 ШАГА

LynnReal-Omni объединяет текст‑в‑видео, изображение‑в‑видео, управление позой человека и рук, структурный контроль, omni‑reference генерацию, стилевой трансфер, редактиро

★ 281 · Python
InternScience/ResearchClawBench

RESEARCHCLAWBENCH - ПОВЫШИМ ЭФФЕКТИВНОСТЬ ИИ ИССЛЕДОВАНИЙ

Оценка автоматизированных ИИ-агентов: от реобнаружения до новых открытий. Работает в Jupyter Notebook.

★ 280 · Jupyter Notebook
microsoft/SWE-bench-Live

SWE-BENCH LIVE: ОЦЕНКА LLM В КОДИНГЕ

SWE-bench Live — бенчмарк для оценки AI-агентов в решении реальных задач из GitHub. Автоматическая верификация кода и сравнение любых моделей.

★ 262 · Python
lechmazur/nyt-connections

NYT CONNECTIONS: БЕНЧМАРК ДЛЯ LLM

Бенчмарк на основе 759 головоломок NYT Connections с дополнительными trick words для оценки LLM.

★ 250 · Python
LeoYeAI/myclaw-bench

МЫКЛОУ БЕНЧ: ТЕСТ AI АГЕНТОВ

Тест ИИ-агентов на 45 задачах по 4 уровням сложности. Powered by MyClaw.ai.

★ 222 · Python
KaiWU5/Awesome-AI4AI

AI4AI: 1135 ПАПЕРОВ ДЛЯ AGI

Еженедельно обновляемая подборка из 1135 статей по бенчмаркам, фреймворкам и архитектурам агентов. Покрывает long-horizon агентов и recursive self-improvement. Включает р

★ 221 · Python
phuryn/bug-hunt-bench

НАЙТИ 105 БАГОВ

Bug Hunt Bench — бенчмарк 105 реальных багов в 2 репозиториях. AI-модели (GPT-6, Claude, Grok, Gemini, DeepSeek) находят и исправляют их в CLI, оцениваются слепо на лидер

★ 207 · JavaScript
surya-koritala/Glyd

GLYD: LOSSLESS AI COMPRESSION

Glyd снижает GPU-память на 33% без потери данных, обеспечивая бит-в-бит идентичность. Проект написан на Rust и поддерживает CUDA, C‑ABI и CLI для удобного бенчмарка.

★ 200 · Rust
AMAP-ML/LoopArena

Платформа бенчмаркинга моделей

Проект предоставляет инструменты для сравнения машинных моделей в роли реального времени контроллеров инженерных петель, измеряя их задержку, стабильность и потребление р

★ 155 · Python
Saivineeth147/lora-speedrun

Спринт тонкой настройки LoRA

Проект ускоряет fine-tuning моделей с LoRA, фиксируя задачу и аппаратное обеспечение, и выводит результаты в открытый wall‑clock лидерборд на базе модифицированного nanog

★ 151 · Python
phi-monster/Galahad

Galahad: исследование слепоты

Проект Galahad исследует слепоту к инструкциям в политиках видения‑языка‑действия, предлагает диагностику и метод низкорангового исправления данных. Включает статью, моде

★ 142 · Python
Shiyao-Huang/awesome-agent-evolution

AWESOME-AGENT-EVOLUTION: КАРТА ЭВОЛЮЦИИ АГЕНТОВ

Открытая карта с обзором эволюции AI-агентов, их self-improvement, памяти, навыков и роевых систем. 🌟 208 звёзд, JS

★ 68 · JavaScript
neuronto/agentic-resource-discovery

Платформа поиска ресурсов ARD

Neuronto Agentic Resource Discovery индексирует публичные ARD реестры и обеспечивает федеративный поиск, объединённый с верифицированным индексом инструментов из MCP‑серв

★ 57 · Python
Chengjun023/agent-smith

Агент Смит: адаптивный роутинг

Agent Smith обеспечивает адаптивную маршрутизацию запросов к LLM, стеклянный монитор использования Codex и воспроизводимые бенчмарки с чек‑ими, снижая перерасход токенов.

★ 9 · Python

Новые проекты по теме — в Telegram

Telegram →
Benchmark — 51 open-source проектов на GitHub | REDDYX AI