Benchmark: open-source проекты на GitHub
51 репозиториев по теме Benchmark, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.
// СМЕЖНЫЕ ТЕМЫ
open-compass/opencompass
OpenCompass is an LLM evaluation platform, supporting a wide range of models (Llama3, Mistral, InternLM2,GPT-4,LLaMa2, Qwen,GLM, Claude, etc) over 100+ datasets.
★ 7,022 · PythonLMMS-EVAL - ОДИН FAQ-СВОЙ ИСТОЧНИК ПРОВЕРКИ МОДАЛЬНОСТИ
Единый инструментарий для оценки мультимодальных моделей по задачам с текстом, изображениями, видео и аудио. 4169 звёзд на GitHub.
★ 4,169 · PythonMTEB - БЕНЧМАРК ДЛЯ ВЛОЖЕНИЙ ТЕКСТОВ
Масштабный бенчмарк для оценки качества text embeddings. 800+ задач на 50+ языках.
★ 3,287 · PythonOSWorld: БЕНЧМАРК ДЛЯ AI-АГЕНТОВ
OSWorld — бенчмарк для оценки мультимодальных AI-агентов в реальных компьютерных средах. Открытые задачи в настоящих ОС.
★ 2,911 · PythonINTERNVIDEO ВИДЕО ФОНДАЦИЯ МОДЕЛЕЙ
Проект InternVideo предлагает открытые видео-фoundation модели и датасет для multimodal понимания, представленный на ECCV2024.
★ 2,281 · PythonAWESOME LLM LONG CONTEXT - ТОП ПАПЕРЫ
Подборка must-read статей и блогов о долгосрочном контексте в LLM: новые методы, обзоры и практики.
★ 2,192ADR: БЕЗОПАСНОСТЬ AI‑АГЕНТОВ В UBER
ADR обеспечивает наблюдаемость, тестирование безопасности и обнаружение угроз для корпоративных ИИ‑агентов, уже используется в Uber.
★ 2,135 · PythonHOTPATH: ПРОФАЙЛЕР ДЛЯ PRODUCTION
Hotpath — профайлер на Rust для CPU, памяти, SQL, HTTP и async-кода. Экспортит метрики в Prometheus и рисует дашборды в Grafana. У проекта 1896 звёзд на GitHub.
★ 1,925 · RustИНСТРУМЕНТЫ ДЛЯ МЕДИЦИНСКОГО AI
PyHealth — библиотека для healthcare AI с поддержкой EHR (MIMIC, eICU, OMOP), клинических текстов, сигналов и изображений. 30+ моделей и воспроизводимые пайплайны для исс
★ 1,699 · PythonОБЗОР ОЦЕНКИ БОЛЬШИХ ЯЗЫКОВЫХ МОДЕЛЕЙ
Официальная страница репозитория для обзорной статьи по оценке больших языковых моделей.
★ 1,616НАХОДИ БОТЛНЕКИ В RUST ЗА СЕКУНДЫ
hotpath-rs — один профайлер для CPU, времени, памяти и async-кода. Быстро находит узкие места в вашем Rust-проекте.
★ 1,517 · RustБЫСТРЫЙ КОМПИЛЯТОР ДЛЯ ЭКСПРЕССИЙ
FastExpressionCompiler — быстрый компилятор деревьев выражений C# и лёгкая альтернатива LightExpression. Предоставляет инструменты диагностики и генерации кода для выраже
★ 1,380 · C#TAU2-BENCH: БЕНЧМАРК ДЛЯ AI АГЕНТОВ
τ-Bench тестирует AI‑агентов в реальных задачах. Проект на Python уже имеет 1.3k ★.
★ 1,319 · PythonClawBench - БЕНЧМАРК ДЛЯ AI АГЕНТОВ
Open-source бенчмарк для оценки браузерных AI-агентов на повседневных задачах. Уже набрал ⭐ 385!
★ 1,301 · PythonSKILLEVALUATOR: ОЦЕНКА ИИ-АГЕНТОВ
Многоуровневый фреймворк для оценки навыков AI агентов: качественные гейты, семантическое пересечение, синтетические данные и живой тест.
★ 1,286 · PythonКлинический бенчмарк решений
Бенчмарк для оценки клинического принятия решений: извлекает единственный факт, на котором основан ответ, и проверяет, изменяет ли ассистент своё действие при изменении д
★ 1,131 · PythonКодовый агент для LLM
Кодовый агент, оптимизирован для меньших LLM.
★ 1,083 · TypeScriptINFERENCEX – БЕНЧМАРК ИНФЕРЕНСЕ
Open‑source бенчмарк непрерывного инференса для Qwen3.5, DeepSeek, GPTOSS и новых ускорителей.
★ 1,016 · PythonGLM-5.3 FLASH И J-SPACE BENCHMARK
Проект демонстрирует интеграцию GLM-5.3 Flash с J-Space для benchmark‑оценки J-Space Cognition Suite. Показаны результаты реализации агентских навыков и их сравнение с ба
★ 1,016MOBILEGYM: АНДРОИД АГЕНТ ТРЕНИРОВКА
MobileGym — это браузер-хостированный Android‑эмулятор для исследовательской работы с мобильными GUI‑агентами. Платформа обеспечивает проверяемую оценку и высокопараллель
★ 866 · PythonVLM2Vec: ВЕКТОРНЫЕ МОДЕЛИ ДЛЯ МУЛЬТИМОДАЛЬНОСТИ
Библиотека реализует метод VLM2Vec для обучения Vision‑Language моделей, создающих эффективные мультимодальные эмбеддинги. Представлена на ICLR 2025.
★ 704 · PythonКорпус навыков для агентов
Проект собирает файлы SKILL.md в единый поисковый каталог навыков для ИИ‑агентов, обеспечивая быстрый поиск и автоматическую оценку соответствия задачам.
★ 703 · PythonAI ХУДОЖНИК ДЛЯ ASEPRITE
Агент рисует пиксель‑арт прямо в открытом окне Aseprite. Он использует MCP‑сервер и навыки для Claude Code, omp, Codex, Gemini CLI и Cursor — рисует, проверяет, анимирует
★ 694 · TypeScriptTRUSTLLM: ОЦЕНКА НАДЁЖНОСТИ LLM
TrustLLM — набор инструментов для оценки достоверности LLM, представленный на ICML 2024. Включает benchmark‑наборы, метрики и датасеты для измерения hallucinations, смеще
★ 636 · PythonБЕНЧМАРК ВОССТАНОВЛЕНИЯ ВЕБ-САЙТОВ АГЕНТАМИ
Бенчмарк для оценки способности ИИ-агентов восстанавливать полноценные веб-сайты через исследование в браузере. Содержит 70 задач с 46 916 скрытых тест-кейсов для проверк
★ 476 · PythonПАРСБЕНЧ: ОЦЕНКА AI-АГЕНТОВ
ParseBench — бенчмарк для оценки качества парсинга документов AI-агентами. Позволяет сравнивать модели на реальных наборах данных.
★ 472 · PythonOpenRCA: ИИ НАХОДИТ ПРИЧИНЫ СБОЕВ В КОДЕ
OpenRCA — фреймворк на базе LLM для автоматического поиска root cause сбоев в программном обеспечении. Принят на ICLR'25.
★ 453 · PythonMCPMark: БЕНЧМАРК ДЛЯ AI-АГЕНТОВ
Комплексный MCP бенчмарк для тестирования моделей и агентов в реальных сценариях использования. 426 звёзд на GitHub.
★ 426 · PythonOSWorld-V2 - ИСПЫТАНИЕ АГЕНТОВ В РЕАЛЬНЫХ ЗАДАЧАХ
OSWorld 2.0 оценивает способность ИИ-агентов выполнять длительные реальные задачи на компьютере, используя только Python.
★ 421 · PythonDS4 НА SPARK: УСКОРЕНИЕ 3X
Однокомандная установка fork ds4 на NVIDIA DGX Spark с ~3‑кратным ускорением prefill и ~1.5‑кратным decode.
★ 415 · ShellEasyWAM для WAM
EasyWAM предоставляет единый интерфейс для обучения, дообучения и оценки моделей мировых действий (WAM) в разных средах. Поддерживает гибкую настройку и работу с PyTorch/
★ 411 · PythonOVERTIME: АГЕНТ ДЛЯ ИГРОВОЙ РАЗРАБОТКИ
Проект overtime позволяет задать краткое техническое задание ИИ‑агенту, после чего агент автономно выполняет работу в следующих сессиях. В демонстрации он построил открыт
★ 402 · TypeScriptБЕНЧМАРК ПРОИЗВОДИТЕЛЬНОСТИ LLM
Инструмент для измерения пропускной способности локальных LLM через Ollama. Запускает нагрузочные тесты и выдаёт статистику токенов в секунду.
★ 399 · PythonAWESOME-AI-LEADERBOARD — РЕЙТИНГИ AI-МОДЕЛЕЙ В ОДНОМ МЕСТЕ
Кураторский список ресурсов с лидербордами для AI-домена. Бенчмарки, метрики и сравнения моделей.
★ 384STRIX HALO LLM НАСТРОЙКА
Руководство по LLM на Ryzen AI MAX+ 395 и Radeon 8060S через Ollama, llama.cpp и ROCm. Достигаем 100 токен/с 30B Qwen и 140 токен/с CHADROCK MTP.
★ 373 · PythonMINEBENCH: БЕНЧМАРК ДЛЯ ИИ
Minecraft‑стильный воксельный бенчмарк, сравнивающий ИИ‑модели в арене и песочнице.
★ 342 · TypeScriptMOBILEWORLD - БЕНЧМАРК МОБИЛЬНЫХ АГЕНТОВ
Бенчмарк для автономных мобильных агентов в интерактивных средах с поддержкой MCP. ACL 2026.
★ 301 · PythonLYNNREAL-OMNI: ВИДЕО ЗА 4 ШАГА
LynnReal-Omni объединяет текст‑в‑видео, изображение‑в‑видео, управление позой человека и рук, структурный контроль, omni‑reference генерацию, стилевой трансфер, редактиро
★ 281 · PythonRESEARCHCLAWBENCH - ПОВЫШИМ ЭФФЕКТИВНОСТЬ ИИ ИССЛЕДОВАНИЙ
Оценка автоматизированных ИИ-агентов: от реобнаружения до новых открытий. Работает в Jupyter Notebook.
★ 280 · Jupyter NotebookSWE-BENCH LIVE: ОЦЕНКА LLM В КОДИНГЕ
SWE-bench Live — бенчмарк для оценки AI-агентов в решении реальных задач из GitHub. Автоматическая верификация кода и сравнение любых моделей.
★ 262 · PythonNYT CONNECTIONS: БЕНЧМАРК ДЛЯ LLM
Бенчмарк на основе 759 головоломок NYT Connections с дополнительными trick words для оценки LLM.
★ 250 · PythonМЫКЛОУ БЕНЧ: ТЕСТ AI АГЕНТОВ
Тест ИИ-агентов на 45 задачах по 4 уровням сложности. Powered by MyClaw.ai.
★ 222 · PythonAI4AI: 1135 ПАПЕРОВ ДЛЯ AGI
Еженедельно обновляемая подборка из 1135 статей по бенчмаркам, фреймворкам и архитектурам агентов. Покрывает long-horizon агентов и recursive self-improvement. Включает р
★ 221 · PythonНАЙТИ 105 БАГОВ
Bug Hunt Bench — бенчмарк 105 реальных багов в 2 репозиториях. AI-модели (GPT-6, Claude, Grok, Gemini, DeepSeek) находят и исправляют их в CLI, оцениваются слепо на лидер
★ 207 · JavaScriptGLYD: LOSSLESS AI COMPRESSION
Glyd снижает GPU-память на 33% без потери данных, обеспечивая бит-в-бит идентичность. Проект написан на Rust и поддерживает CUDA, C‑ABI и CLI для удобного бенчмарка.
★ 200 · RustПлатформа бенчмаркинга моделей
Проект предоставляет инструменты для сравнения машинных моделей в роли реального времени контроллеров инженерных петель, измеряя их задержку, стабильность и потребление р
★ 155 · PythonСпринт тонкой настройки LoRA
Проект ускоряет fine-tuning моделей с LoRA, фиксируя задачу и аппаратное обеспечение, и выводит результаты в открытый wall‑clock лидерборд на базе модифицированного nanog
★ 151 · PythonGalahad: исследование слепоты
Проект Galahad исследует слепоту к инструкциям в политиках видения‑языка‑действия, предлагает диагностику и метод низкорангового исправления данных. Включает статью, моде
★ 142 · PythonAWESOME-AGENT-EVOLUTION: КАРТА ЭВОЛЮЦИИ АГЕНТОВ
Открытая карта с обзором эволюции AI-агентов, их self-improvement, памяти, навыков и роевых систем. 🌟 208 звёзд, JS
★ 68 · JavaScriptПлатформа поиска ресурсов ARD
Neuronto Agentic Resource Discovery индексирует публичные ARD реестры и обеспечивает федеративный поиск, объединённый с верифицированным индексом инструментов из MCP‑серв
★ 57 · PythonАгент Смит: адаптивный роутинг
Agent Smith обеспечивает адаптивную маршрутизацию запросов к LLM, стеклянный монитор использования Codex и воспроизводимые бенчмарки с чек‑ими, снижая перерасход токенов.
★ 9 · PythonНовые проекты по теме — в Telegram
Telegram →