TIGER-AI-Lab/WebsiteBench
БЕНЧМАРК ВОССТАНОВЛЕНИЯ ВЕБ-САЙТОВ АГЕНТАМИ
Бенчмарк для оценки способности ИИ-агентов восстанавливать полноценные веб-сайты через исследование в браузере. Содержит 70 задач с 46 916 скрытых тест-кейсов для проверки визуального и функционального соответствия.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- 70 продакшн-сайтов и 46 916 скрытых тест-кейсов
- Оценка по SSIM 0.99 и функциональным проверкам
- Запуск через Harbor с Docker-изоляцией
- Поддержка агентов Codex, Oracle и других
// РАЗБОР: КАК ЭТО РАБОТАЕТ
WebsiteBench задаёт агентам задачу: изучив работающий сайт в браузере, воспроизвести его полноценную full-stack реализацию. Оценка идёт по скрытым тест-кейсам (302–2016 на задачу): проходит тот, чьи функциональные проверки успешны и визуальные чекпоинты дают нормализованный SSIM ≥ 0.99. Награда задачи — доля пройденных кейсов.
В наборе 70 сайтов разной сложности, размещённых на Harbor Hub и Hugging Face. Инфраструктура построена на Harbor: запуск в изолированных Docker-контейнерах с доступом к внешним реестрам (npm, GitHub, Debian). Поддерживаются разные агенты — Codex, Oracle (эталонное решение) и другие через конфигурацию. Задачи скачиваются пакетом websitebench из PyPI.
Требуются Docker, Harbor CLI (uv tool install harbor==0.25.0) и OPENAI_API_KEY. Запуск 70 задач выполняется одной командой harbor run с флагами разрешения сетевых хостов. Референсные сайты — для некоммерческих исследований, код бенчмарка под Apache-2.0. Есть canary GUID для исключения из обучающих выборок.
// СЦЕНАРИИ ИСПОЛЬЗОВАНИЯ
Кому пригодится: Исследователям ИИ-агентов и разработчикам браузерной автоматизации
- Оценить качество восстановления вёрстки и логики агентом
- Сравнить разные LLM на задаче реверс-инжиниринга сайтов
- Проверить робастность агента на 70 реальных продакшн-сайтах
// БЫСТРЫЙ СТАРТ
pip install websitebench
websitebench download --task medium
uv tool install harbor==0.25.0Команды взяты из README репозитория — перед запуском сверьтесь с актуальной версией на GitHub.
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram