Web Scraping: open-source проекты на GitHub
51 репозиториев по теме Web Scraping, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.
// СМЕЖНЫЕ ТЕМЫ
Firecrawl API для веба
Firecrawl предоставляет простой API для поиска, скрапинга и взаимодействия с веб-страницами, оптимизированный для использования в AI-приложениях.
★ 118,560 · TypeScriptОТКРЫТЫЙ КРАУЛЕР ДЛЯ LLM
Crawl4ai превращает любой сайт в чистый Markdown, готовый для RAG и агентов. 84k звёзд на GitHub, запуск локально или через облако.
★ 87,369 · PythonAI-продуктивность на устройстве
Универсальный инструмент для продуктивности с ИИ, работающий локально и обеспечивающий полную конфиденциальность без сложной настройки.
★ 59,922 · JavaScriptАдаптивный веб-скрейпер
Адаптивный фреймворк для веб-скрейпинга, поддерживающий как одиночные запросы, так и масштабные краулеры.
★ 49,091 · PythonSTAGEHAND SDK ДЛЯ БРАУЗЕРНЫХ АГЕНТОВ
Stagehand предоставляет TypeScript SDK для создания браузерных агентов, которые могут взаимодействовать, искать, извлекать и получать данные с любого веб‑сайта надёжно. О
★ 26,054 · TypeScriptScrapegraph: ИИ-скрейпер на Python
Библиотека для веб-скрейпинга с использованием искусственного интеллекта. Автоматически извлекает структурированные данные с любых веб-страниц.
★ 25,439 · PythonHeadless-браузер для AI-агентов
Лёгкий и быстрый headless-браузер на Rust для управления веб-страницами AI-агентами с высокой совместимостью.
★ 23,747 · RustDOUYIN TIKTOK DOWNLOADER API
Self-hosted TikTok/Douyin scraper с async REST API, MCP, CLI и консолью скачивает видео без watermarks и собирает посты, профили, комментарии и плейлисты. Включает самово
★ 21,404 · PythonAI-клонер веб-сайтов
Шаблон на TypeScript для клонирования любого сайта одной командой с помощью AI-агентов. 14 490 звёзд.
★ 14,490 · TypeScriptИИ-АГЕНТ ДЛЯ АВТОМАТИЗАЦИИ В БРАУЗЕРЕ
Открытый ИИ-агент для автоматизации задач в вашем браузере. Работает через боковую панель, использует ваш залогиненный профиль и выполняет клики, ввод текста и навигацию
★ 14,332 · TypeScriptСоздатель навыков Claude
Преобразует документацию, репозитории GitHub и PDF в навыки Claude AI, автоматически обнаруживая конфликты.
★ 13,443 · PythonSELENIUMBASE: СТЕЛЬНАЯ АВТОМАТИЗАЦИЯ БРАУЗЕРА
SeleniumBase объединяет автоматизацию браузера, E2E-тестирование и стелс-режим. Обходит CAPTCHA и Cloudflare через CDP Mode. Включает MCP-сервер для интеграции с ИИ-агент
★ 13,255 · PythonAPI-MEGA-LIST - ПОЛНЫЙ СПИСОК API
Собрание самых полезных API для быстрого старта проектов: от автоматизации до full‑stack приложений.
★ 8,392 · JavaScriptfirecrawl/firecrawl-mcp-server
🔥 Official Firecrawl MCP Server - Adds powerful web scraping and search to Cursor, Claude and any other LLM clients.
★ 6,384 · JavaScriptTRAFILATURA - ПАРСИМ ВЕБ ЗА МИНУТУ
Trafilatura извлекает чистый текст и метаданные со страниц, поддерживая CSV, JSON, HTML и другие форматы.
★ 6,055 · PythonWIGOLO: ЛОКАЛЬНЫЙ AI‑ПОМОЩНИК
Wigolo — локальный поиск и сбор данных для AI‑агентов без API‑ключей и облака. Бесплатно, публичная бета, 621⭐.
★ 5,544 · TypeScriptCamoFox: скрытный браузер
Stealth headless браузер для AI‑агентов, обходящий Cloudflare, защиту от ботов и анти‑скрейпинг. Полностью совместим с Puppeteer и Playwright.
★ 4,734 · JavaScriptАГЕНТ ДЛЯ ОЦЕНКИ ССЫЛОК В ЧАТЕ
Noria — агентский экстрактор для мессенджеров. Получает сообщения и URL, скрейпит веб-страницы, оценивает контент по кастомным матрицам (вакансии, гранты) и присылает стр
★ 4,630 · JavaScriptСТЕЛС БРАУЗЕР ОБХОД АНТИБОТ
Проект позволяет автоматизировать браузер, обходя анти‑бот системы за счёт ИИ‑сгенерированных сетевых хуков и пиксель‑точного клонирования UI через чат.
★ 3,364 · PythonSPIDER: МОЛНИЕНОСНЫЙ ВЕБ-КРАУЛЕР
Высокоскоростной стриминг веб-данных с минимальной задержкой. Идеален для реал-тайм парсинга и сбора данных.
★ 2,849 · RustЛИДЫ ИЗ GOOGLE MAPS БЕЗ API
Скрипт извлекает лиды из Google Maps: телефоны, email, сайты и соцсети в чистый CSV. Работает локально через Claude, без API‑ключей, на вашем ПК.
★ 2,453 · PythonBRIGHTDATA-MCP: ОДНОРЕШЕНИЕ ДЛЯ WEB
Сервер Model Context Protocol для доступа к публичным веб‑данным без сложной настройки.
★ 2,434 · JavaScriptRPA: ВИЗУАЛЬНАЯ АВТОМАТИЗАЦИЯ С ИИ
Open‑source RPA платформа с компьютерным зрением, OCR и LLM‑ассистентом. Импортируйте/экспортируйте тесты из Selenium IDE.
★ 2,108 · JavaScriptOPENSERP — ИИ СЕРЧ API САМОХОСТИНГ
Self-hosted SERP API, рендерящий результаты Google, Bing, Yandex и других поисковиков с извлечением страниц.
★ 1,584 · GoАВТОМАТИЗАЦИЯ БРАУЗЕРА ДЛЯ AI-АГЕНТОВ
CLI-инструмент для автоматизации браузера с обходом антибот-защит, передачей задач человеку и параллельным выполнением в нескольких сессиях.
★ 1,429 · PythonCHATGPT-SCRAPER - ИНТЕЛЛИГЕНТНЫЙ SCRAPER
Получай структурированные ответы от ChatGPT scraping API в одной строке. Включи живой поиск, контекст HTML и автоматизируй задачи.
★ 1,411БЫСТРЫЙ АЛЬТЕРНАТИВ FIRECRAWL НА RUST
crw — быстрый аналог Firecrawl/Tavily на Rust: веб‑скрейпер, краулер и поисковый API с MCP‑сервером для AI‑агентов. Совместимый API (/scrape, /crawl, /search), в 2,3× быс
★ 1,257 · RustHEADLESS BROWSER НА SPIDERMONKEY ДЛЯ AI
Лёгкий headless-браузер на движке SpiderMonkey (Firefox 160) и сетевом стеке Necko для запуска JavaScript сайтов из Python. Назначен для AI-агентов: скрейпинг, обход защи
★ 1,245 · C++АГЕНТСКИЙ API КАТАЛОГ
awesome-agent-apis собирает более 660 моделей генеративных медиа, размещённых на muapi, и сторонние API‑инструменты (SEO, enrichment, соцсети, скрейпинг). Каждый элемент
★ 1,070 · PythonУНИВЕРСАЛЬНЫЙ ЧИТАЛКА КОНТЕНТА
x-reader — MCP-сервер, который читает контент с более чем 10 платформ: соцсетей, блогов, репозиториев и документов. Написан на Python, поддерживает извлечение текста, мет
★ 990 · PythonAGENT-SKILLS - УМНЫЕ НАВЫКИ ДЛЯ АГЕНТОВ
Официальные навыки агентов от Oxylabs, которые упрощают интеграцию и расширяют возможности автоматизации.
★ 878НЕВИДИМЫЙ PLAYWRIGHT MCP ДЛЯ AI
MCP-сервер Playwright, невидимый для анти-ботов и капч. AI-агент работает в скрытом Firefox, обходит защиту и автоматизирует браузер без детекта.
★ 865 · PythonREVERSE-API-ENGINEER - АГЕНТ, КОТОРЫЙ ДЕЛАЕТ API ИЗ САЙТОВ!
ИИ-агент на Python автоматически анализирует веб-сайты и создаёт из них полноценные API — больше не нужно писать парсеры вручную.
★ 758 · PythonOC: ВЕБ В ТЕРМИНАЛЕ
Преобразуй любой сайт в компактный CLI для ИИ‑агентов, экономя токены при работе с веб‑страницами.
★ 696 · JavaScriptОГНЕННЫЙ CLI ДЛЯ WEB-ДАННЫХ
Firecrawl CLI предоставляет навыки веб‑поиска, скрапинга, сканирования и взаимодействия с браузером прямо из терминала или любого AI‑агента. Это самый полный веб‑данные A
★ 686 · TypeScriptINFRASTRUCTURE ДЛЯ AI-АГЕНТОВ
Открытый веб-инструментарий для AI: скрапинг, краулинг, чистый Markdown и браузерные сессии прямо для ваших агентов.
★ 565 · TypeScriptАГЕНТ ИЩЕТ В СЕТИ САМ
Самостоятельный поисковый скилл для AI-агентов: SearXNG, антидетект-браузер и защита от галлюцинаций. Бесплатно, без лимитов.
★ 546 · JavaScriptPULLMD: ПРЕОБРАЗУЙ КОНТЕНТ В MARKDOWN
Self‑хостинговый сервис превращает URL и файлы (страницы, документы, изображения, аудио, YouTube) в Markdown. Поддерживает PWA, REST, MCP, навык Claude Code, Reddit‑aware
★ 524 · JavaScriptMCP СКРАПЕР: 573 API
EveryInfra MCP сервер и плагины для AI-агентов. 573 API скраперов для TikTok, Instagram, Amazon, YouTube, Xiaohongshu, Douyin и 100+ платформ. От $0.56 за 1K вызовов. Раб
★ 497 · PythonFLYTO-CORE: ДВИЖОК ИИ-АГЕНТОВ
Open‑source движок выполнения AI‑агентов с 412 модулями, нативной MCP‑поддержкой, очередями, версионированием и измерением использования.
★ 483 · Pythoncamofox-browser 🔥
Сервер анти-детектинг браузера для AI-агентов. REST API Camoufox с плагинами OpenClaw. 257 звёзд на GitHub.
★ 445 · TypeScriptAI-SEARCH-PY - ПОЛНЫЙ ИНТЕГРАЦИОННЫЙ ИНТЕЛЛИГЕНТНЫЙ ИНТЕРПРЕТАТОР
Преобразуйте простые английские запросы в структурированные данные с автоматическим извлечением Markdown и рендерингом JavaScript для динамических сайтов.
★ 423CAMOUFOX CLI: АНОНИМНЫЙ БРАУЗЕР
CLI‑утилита для маскировки браузера на базе Camoufox, устраняющая следы Playwright и обеспечивающая скрытную автоматизацию для AI‑агентов.
★ 363 · PythonОТЧЕТ О AI VISIBILITY
geo-aeo-tracker: open-source инструмент отслеживания AI-видимости и AEO. Мониторьте mention и цитирование бренда ChatGPT, Perplexity, Gemini, Google AI Mode. MCP server +
★ 328 · TypeScriptSPOTIFY СКРАПЕР: ДАННЫЕ БЕЗ API
Извлекай публичные данные Spotify — треки, альбомы, артисты, плейлисты, подкасты и lyrics — без официального API. Sync + async, типизированные модели, одна зависимость.
★ 327 · PythonSLM-ЭКСТРАКТОР ГЛАВНОГО HTML
MinerU-HTML использует малую языковую модель для извлечения основного контента из HTML-страниц. Выдаёт чистый HTML без мусора. Идеален для RAG, агентов глубокого поиска и
★ 302 · PythonSEARCHARVESTER: AI-АГЕНТ ПОИСК И СБОР
Self‑hosted поисковый движок на SearXNG (100+ источников) с FastAPI и трафикатурой trafilatura. Tavily‑совместимый /search и /extract с лимитами размера и пагинацией, зап
★ 283 · PythonSTEALTH CHROMIUM BROWSER CLEARCOTE
clearcote-browser — открытый стелс-хромиум с подменой отпечатков на уровне движка. Он полностью de-Googled, совместим с Playwright как drop-in замена и собирается из исхо
★ 263 · PythonCLI-Anything-WEB: КЛИ ИЗ ЛЮБОГО САЙТА
Плагин для Claude Code, который генерирует production-ready Python CLI для любого веб-приложения. Уже 20+ готовых инструментов.
★ 242 · PythonDamru скрытный Android браузер
Damru — фреймворк для скрытой автоматизации Android-браузеров на Python, использующий C++-переопределения, подделку root-свойств и патчинг GPU‑бинарников, позволяющий обх
★ 31 · PythonГлубокий исследователь веба
Локальный агент для глубокого исследования интернета, способный обходить защиту от ботов и собирать данные с любых сайтов. Формирует отчёты с точными ссылками и работает
★ 31 · PythonНовые проекты по теме — в Telegram
Telegram →