R_REDDYX.XYZ

Web Scraping: open-source проекты на GitHub

51 репозиториев по теме Web Scraping, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.

// СМЕЖНЫЕ ТЕМЫ

AI Agents 1303MCP 1593LLM 2064Playwright 59MCP Server 627Browser Automation 70Automation 258AI Agent 680Data Extraction 14Scraping 15Claude Code 1573Crawler 12AI Tools 214Markdown 97
firecrawl/firecrawl

Firecrawl API для веба

Firecrawl предоставляет простой API для поиска, скрапинга и взаимодействия с веб-страницами, оптимизированный для использования в AI-приложениях.

★ 118,560 · TypeScript
unclecode/crawl4ai

ОТКРЫТЫЙ КРАУЛЕР ДЛЯ LLM

Crawl4ai превращает любой сайт в чистый Markdown, готовый для RAG и агентов. 84k звёзд на GitHub, запуск локально или через облако.

★ 87,369 · Python
Mintplex-Labs/anything-llm

AI-продуктивность на устройстве

Универсальный инструмент для продуктивности с ИИ, работающий локально и обеспечивающий полную конфиденциальность без сложной настройки.

★ 59,922 · JavaScript
D4Vinci/Scrapling

Адаптивный веб-скрейпер

Адаптивный фреймворк для веб-скрейпинга, поддерживающий как одиночные запросы, так и масштабные краулеры.

★ 49,091 · Python
browserbase/stagehand

STAGEHAND SDK ДЛЯ БРАУЗЕРНЫХ АГЕНТОВ

Stagehand предоставляет TypeScript SDK для создания браузерных агентов, которые могут взаимодействовать, искать, извлекать и получать данные с любого веб‑сайта надёжно. О

★ 26,054 · TypeScript
ScrapeGraphAI/Scrapegraph-ai

Scrapegraph: ИИ-скрейпер на Python

Библиотека для веб-скрейпинга с использованием искусственного интеллекта. Автоматически извлекает структурированные данные с любых веб-страниц.

★ 25,439 · Python
lexmount/moli

Headless-браузер для AI-агентов

Лёгкий и быстрый headless-браузер на Rust для управления веб-страницами AI-агентами с высокой совместимостью.

★ 23,747 · Rust
Evil0ctal/Douyin_TikTok_Download_API

DOUYIN TIKTOK DOWNLOADER API

Self-hosted TikTok/Douyin scraper с async REST API, MCP, CLI и консолью скачивает видео без watermarks и собирает посты, профили, комментарии и плейлисты. Включает самово

★ 21,404 · Python
JCodesMore/ai-website-cloner-template

AI-клонер веб-сайтов

Шаблон на TypeScript для клонирования любого сайта одной командой с помощью AI-агентов. 14 490 звёзд.

★ 14,490 · TypeScript
nanobrowser/nanobrowser

ИИ-АГЕНТ ДЛЯ АВТОМАТИЗАЦИИ В БРАУЗЕРЕ

Открытый ИИ-агент для автоматизации задач в вашем браузере. Работает через боковую панель, использует ваш залогиненный профиль и выполняет клики, ввод текста и навигацию

★ 14,332 · TypeScript
yusufkaraaslan/Skill_Seekers

Создатель навыков Claude

Преобразует документацию, репозитории GitHub и PDF в навыки Claude AI, автоматически обнаруживая конфликты.

★ 13,443 · Python
seleniumbase/SeleniumBase

SELENIUMBASE: СТЕЛЬНАЯ АВТОМАТИЗАЦИЯ БРАУЗЕРА

SeleniumBase объединяет автоматизацию браузера, E2E-тестирование и стелс-режим. Обходит CAPTCHA и Cloudflare через CDP Mode. Включает MCP-сервер для интеграции с ИИ-агент

★ 13,255 · Python
cporter202/API-mega-list

API-MEGA-LIST - ПОЛНЫЙ СПИСОК API

Собрание самых полезных API для быстрого старта проектов: от автоматизации до full‑stack приложений.

★ 8,392 · JavaScript
firecrawl/firecrawl-mcp-server

firecrawl/firecrawl-mcp-server

🔥 Official Firecrawl MCP Server - Adds powerful web scraping and search to Cursor, Claude and any other LLM clients.

★ 6,384 · JavaScript
adbar/trafilatura

TRAFILATURA - ПАРСИМ ВЕБ ЗА МИНУТУ

Trafilatura извлекает чистый текст и метаданные со страниц, поддерживая CSV, JSON, HTML и другие форматы.

★ 6,055 · Python
KnockOutEZ/wigolo

WIGOLO: ЛОКАЛЬНЫЙ AI‑ПОМОЩНИК

Wigolo — локальный поиск и сбор данных для AI‑агентов без API‑ключей и облака. Бесплатно, публичная бета, 621⭐.

★ 5,544 · TypeScript
jo-inc/camofox-browser

CamoFox: скрытный браузер

Stealth headless браузер для AI‑агентов, обходящий Cloudflare, защиту от ботов и анти‑скрейпинг. Полностью совместим с Puppeteer и Playwright.

★ 4,734 · JavaScript
AhmadHassan-BTed/Noria

АГЕНТ ДЛЯ ОЦЕНКИ ССЫЛОК В ЧАТЕ

Noria — агентский экстрактор для мессенджеров. Получает сообщения и URL, скрейпит веб-страницы, оценивает контент по кастомным матрицам (вакансии, гранты) и присылает стр

★ 4,630 · JavaScript
vibheksoni/stealth-browser-mcp

СТЕЛС БРАУЗЕР ОБХОД АНТИБОТ

Проект позволяет автоматизировать браузер, обходя анти‑бот системы за счёт ИИ‑сгенерированных сетевых хуков и пиксель‑точного клонирования UI через чат.

★ 3,364 · Python
spider-rs/spider

SPIDER: МОЛНИЕНОСНЫЙ ВЕБ-КРАУЛЕР

Высокоскоростной стриминг веб-данных с минимальной задержкой. Идеален для реал-тайм парсинга и сбора данных.

★ 2,849 · Rust
Mahanaicoach/google-maps-scraper-kit

ЛИДЫ ИЗ GOOGLE MAPS БЕЗ API

Скрипт извлекает лиды из Google Maps: телефоны, email, сайты и соцсети в чистый CSV. Работает локально через Claude, без API‑ключей, на вашем ПК.

★ 2,453 · Python
brightdata/brightdata-mcp

BRIGHTDATA-MCP: ОДНОРЕШЕНИЕ ДЛЯ WEB

Сервер Model Context Protocol для доступа к публичным веб‑данным без сложной настройки.

★ 2,434 · JavaScript
A9T9/RPA

RPA: ВИЗУАЛЬНАЯ АВТОМАТИЗАЦИЯ С ИИ

Open‑source RPA платформа с компьютерным зрением, OCR и LLM‑ассистентом. Импортируйте/экспортируйте тесты из Selenium IDE.

★ 2,108 · JavaScript
karust/openserp

OPENSERP — ИИ СЕРЧ API САМОХОСТИНГ

Self-hosted SERP API, рендерящий результаты Google, Bing, Yandex и других поисковиков с извлечением страниц.

★ 1,584 · Go
browser-act/skills

АВТОМАТИЗАЦИЯ БРАУЗЕРА ДЛЯ AI-АГЕНТОВ

CLI-инструмент для автоматизации браузера с обходом антибот-защит, передачей задач человеку и параллельным выполнением в нескольких сессиях.

★ 1,429 · Python
ScrapingBee/chatgpt-scraper-api

CHATGPT-SCRAPER - ИНТЕЛЛИГЕНТНЫЙ SCRAPER

Получай структурированные ответы от ChatGPT scraping API в одной строке. Включи живой поиск, контекст HTML и автоматизируй задачи.

★ 1,411
fastcrw/crw

БЫСТРЫЙ АЛЬТЕРНАТИВ FIRECRAWL НА RUST

crw — быстрый аналог Firecrawl/Tavily на Rust: веб‑скрейпер, краулер и поисковый API с MCP‑сервером для AI‑агентов. Совместимый API (/scrape, /crawl, /search), в 2,3× быс

★ 1,257 · Rust
cutetailbud/ff-ruyijs

HEADLESS BROWSER НА SPIDERMONKEY ДЛЯ AI

Лёгкий headless-браузер на движке SpiderMonkey (Firefox 160) и сетевом стеке Necko для запуска JavaScript сайтов из Python. Назначен для AI-агентов: скрейпинг, обход защи

★ 1,245 · C++
Anil-matcha/awesome-agent-apis

АГЕНТСКИЙ API КАТАЛОГ

awesome-agent-apis собирает более 660 моделей генеративных медиа, размещённых на muapi, и сторонние API‑инструменты (SEO, enrichment, соцсети, скрейпинг). Каждый элемент

★ 1,070 · Python
runesleo/x-reader

УНИВЕРСАЛЬНЫЙ ЧИТАЛКА КОНТЕНТА

x-reader — MCP-сервер, который читает контент с более чем 10 платформ: соцсетей, блогов, репозиториев и документов. Написан на Python, поддерживает извлечение текста, мет

★ 990 · Python
oxylabs/agent-skills

AGENT-SKILLS - УМНЫЕ НАВЫКИ ДЛЯ АГЕНТОВ

Официальные навыки агентов от Oxylabs, которые упрощают интеграцию и расширяют возможности автоматизации.

★ 878
oss-invisible/playwright_mcp

НЕВИДИМЫЙ PLAYWRIGHT MCP ДЛЯ AI

MCP-сервер Playwright, невидимый для анти-ботов и капч. AI-агент работает в скрытом Firefox, обходит защиту и автоматизирует браузер без детекта.

★ 865 · Python
kalil0321/reverse-api-engineer

REVERSE-API-ENGINEER - АГЕНТ, КОТОРЫЙ ДЕЛАЕТ API ИЗ САЙТОВ!

ИИ-агент на Python автоматически анализирует веб-сайты и создаёт из них полноценные API — больше не нужно писать парсеры вручную.

★ 758 · Python
only-cli/oc

OC: ВЕБ В ТЕРМИНАЛЕ

Преобразуй любой сайт в компактный CLI для ИИ‑агентов, экономя токены при работе с веб‑страницами.

★ 696 · JavaScript
firecrawl/cli

ОГНЕННЫЙ CLI ДЛЯ WEB-ДАННЫХ

Firecrawl CLI предоставляет навыки веб‑поиска, скрапинга, сканирования и взаимодействия с браузером прямо из терминала или любого AI‑агента. Это самый полный веб‑данные A

★ 686 · TypeScript
vakra-dev/reader

INFRASTRUCTURE ДЛЯ AI-АГЕНТОВ

Открытый веб-инструментарий для AI: скрапинг, краулинг, чистый Markdown и браузерные сессии прямо для ваших агентов.

★ 565 · TypeScript
Johell1NS/browser-search

АГЕНТ ИЩЕТ В СЕТИ САМ

Самостоятельный поисковый скилл для AI-агентов: SearXNG, антидетект-браузер и защита от галлюцинаций. Бесплатно, без лимитов.

★ 546 · JavaScript
AeternaLabsHQ/pullmd

PULLMD: ПРЕОБРАЗУЙ КОНТЕНТ В MARKDOWN

Self‑хостинговый сервис превращает URL и файлы (страницы, документы, изображения, аудио, YouTube) в Markdown. Поддерживает PWA, REST, MCP, навык Claude Code, Reddit‑aware

★ 524 · JavaScript
everyinfra/everyinfra-agent-plugins

MCP СКРАПЕР: 573 API

EveryInfra MCP сервер и плагины для AI-агентов. 573 API скраперов для TikTok, Instagram, Amazon, YouTube, Xiaohongshu, Douyin и 100+ платформ. От $0.56 за 1K вызовов. Раб

★ 497 · Python
flytohub/flyto-core

FLYTO-CORE: ДВИЖОК ИИ-АГЕНТОВ

Open‑source движок выполнения AI‑агентов с 412 модулями, нативной MCP‑поддержкой, очередями, версионированием и измерением использования.

★ 483 · Python
redf0x1/camofox-browser

camofox-browser 🔥

Сервер анти-детектинг браузера для AI-агентов. REST API Camoufox с плагинами OpenClaw. 257 звёзд на GitHub.

★ 445 · TypeScript
oxylabs/AI-Search-py

AI-SEARCH-PY - ПОЛНЫЙ ИНТЕГРАЦИОННЫЙ ИНТЕЛЛИГЕНТНЫЙ ИНТЕРПРЕТАТОР

Преобразуйте простые английские запросы в структурированные данные с автоматическим извлечением Markdown и рендерингом JavaScript для динамических сайтов.

★ 423
Bin-Huang/camoufox-cli

CAMOUFOX CLI: АНОНИМНЫЙ БРАУЗЕР

CLI‑утилита для маскировки браузера на базе Camoufox, устраняющая следы Playwright и обеспечивающая скрытную автоматизацию для AI‑агентов.

★ 363 · Python
danishashko/geo-aeo-tracker

ОТЧЕТ О AI VISIBILITY

geo-aeo-tracker: open-source инструмент отслеживания AI-видимости и AEO. Мониторьте mention и цитирование бренда ChatGPT, Perplexity, Gemini, Google AI Mode. MCP server +

★ 328 · TypeScript
AliAkhtari78/SpotifyScraper

SPOTIFY СКРАПЕР: ДАННЫЕ БЕЗ API

Извлекай публичные данные Spotify — треки, альбомы, артисты, плейлисты, подкасты и lyrics — без официального API. Sync + async, типизированные модели, одна зависимость.

★ 327 · Python
opendatalab/MinerU-HTML

SLM-ЭКСТРАКТОР ГЛАВНОГО HTML

MinerU-HTML использует малую языковую модель для извлечения основного контента из HTML-страниц. Выдаёт чистый HTML без мусора. Идеален для RAG, агентов глубокого поиска и

★ 302 · Python
vakovalskii/searcharvester

SEARCHARVESTER: AI-АГЕНТ ПОИСК И СБОР

Self‑hosted поисковый движок на SearXNG (100+ источников) с FastAPI и трафикатурой trafilatura. Tavily‑совместимый /search и /extract с лимитами размера и пагинацией, зап

★ 283 · Python
clearcotelabs/clearcote-browser

STEALTH CHROMIUM BROWSER CLEARCOTE

clearcote-browser — открытый стелс-хромиум с подменой отпечатков на уровне движка. Он полностью de-Googled, совместим с Playwright как drop-in замена и собирается из исхо

★ 263 · Python
ItamarZand88/CLI-Anything-WEB

CLI-Anything-WEB: КЛИ ИЗ ЛЮБОГО САЙТА

Плагин для Claude Code, который генерирует production-ready Python CLI для любого веб-приложения. Уже 20+ готовых инструментов.

★ 242 · Python
akwin1234/damru

Damru скрытный Android браузер

Damru — фреймворк для скрытой автоматизации Android-браузеров на Python, использующий C++-переопределения, подделку root-свойств и патчинг GPU‑бинарников, позволяющий обх

★ 31 · Python
Mrbaeksang/deepcloak

Глубокий исследователь веба

Локальный агент для глубокого исследования интернета, способный обходить защиту от ботов и собирать данные с любых сайтов. Формирует отчёты с точными ссылками и работает

★ 31 · Python

Новые проекты по теме — в Telegram

Telegram →
Web Scraping — 51 open-source проектов на GitHub | REDDYX AI