R_REDDYX.XYZ
AgentsPython★ 476⑂ 43 форковApache-2.0

TIGER-AI-Lab/WebsiteBench

БЕНЧМАРК ВОССТАНОВЛЕНИЯ ВЕБ-САЙТОВ АГЕНТАМИ

Бенчмарк для оценки способности ИИ-агентов восстанавливать полноценные веб-сайты через исследование в браузере. Содержит 70 задач с 46 916 скрытых тест-кейсов для проверки визуального и функционального соответствия.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • 70 продакшн-сайтов и 46 916 скрытых тест-кейсов
  • Оценка по SSIM 0.99 и функциональным проверкам
  • Запуск через Harbor с Docker-изоляцией
  • Поддержка агентов Codex, Oracle и других

// РАЗБОР: КАК ЭТО РАБОТАЕТ

WebsiteBench задаёт агентам задачу: изучив работающий сайт в браузере, воспроизвести его полноценную full-stack реализацию. Оценка идёт по скрытым тест-кейсам (302–2016 на задачу): проходит тот, чьи функциональные проверки успешны и визуальные чекпоинты дают нормализованный SSIM ≥ 0.99. Награда задачи — доля пройденных кейсов.

В наборе 70 сайтов разной сложности, размещённых на Harbor Hub и Hugging Face. Инфраструктура построена на Harbor: запуск в изолированных Docker-контейнерах с доступом к внешним реестрам (npm, GitHub, Debian). Поддерживаются разные агенты — Codex, Oracle (эталонное решение) и другие через конфигурацию. Задачи скачиваются пакетом websitebench из PyPI.

Требуются Docker, Harbor CLI (uv tool install harbor==0.25.0) и OPENAI_API_KEY. Запуск 70 задач выполняется одной командой harbor run с флагами разрешения сетевых хостов. Референсные сайты — для некоммерческих исследований, код бенчмарка под Apache-2.0. Есть canary GUID для исключения из обучающих выборок.

// СЦЕНАРИИ ИСПОЛЬЗОВАНИЯ

Кому пригодится: Исследователям ИИ-агентов и разработчикам браузерной автоматизации

  • Оценить качество восстановления вёрстки и логики агентом
  • Сравнить разные LLM на задаче реверс-инжиниринга сайтов
  • Проверить робастность агента на 70 реальных продакшн-сайтах

// БЫСТРЫЙ СТАРТ

pip install websitebench
websitebench download --task medium
uv tool install harbor==0.25.0

Команды взяты из README репозитория — перед запуском сверьтесь с актуальной версией на GitHub.

#agent-evaluation#ai#ai-agents#benchmark#benchmarking#browser-automation#browser-use#full-stack#harbor#harbor-framework#llm#llm-benchmark
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

КАД-СИСТЕМА С АГЕНТАМИ ДЛЯ CADQUERY★ 490БЕЛАЯ ДОСКА С MCP ДЛЯ ИССЛЕДОВАТЕЛЬСКИХ AI-АГЕНТОВ★ 512ЗАПУСК DEEPSEEK-V4.1 552B НА ОДНОМ ПК★ 534КОМПИЛЯЦИЯ ПОЛИТИК В ДАННЫЕ РЕШЕНИЙ★ 387АГЕНТСКИЙ НАВЫК ОЧИСТКИ UI ОТ ИИ-ПАТТЕРНОВ★ 57045 НАВЫКОВ АГЕНТОВ ДЛЯ ПРОДАКТА★ 611

← ВЕСЬ КАТАЛОГ

TIGER-AI-Lab/WebsiteBench — Бенчмарк восстановления…