R_REDDYX.XYZ

Scraping: open-source проекты на GitHub

15 репозиториев по теме Scraping, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.

// СМЕЖНЫЕ ТЕМЫ

Web Scraping 51LLM 2064Crawler 12Automation 258Playwright 59RAG 507AI Agents 1303Data Extraction 14Scraper 14MCP 1593AI Agent 680Browser Automation 70AI Search 19Markdown 97
firecrawl/firecrawl

Firecrawl API для веба

Firecrawl предоставляет простой API для поиска, скрапинга и взаимодействия с веб-страницами, оптимизированный для использования в AI-приложениях.

★ 118,560 · TypeScript
D4Vinci/Scrapling

Адаптивный веб-скрейпер

Адаптивный фреймворк для веб-скрейпинга, поддерживающий как одиночные запросы, так и масштабные краулеры.

★ 49,091 · Python
ScrapeGraphAI/Scrapegraph-ai

Scrapegraph: ИИ-скрейпер на Python

Библиотека для веб-скрейпинга с использованием искусственного интеллекта. Автоматически извлекает структурированные данные с любых веб-страниц.

★ 25,439 · Python
adbar/trafilatura

TRAFILATURA - ПАРСИМ ВЕБ ЗА МИНУТУ

Trafilatura извлекает чистый текст и метаданные со страниц, поддерживая CSV, JSON, HTML и другие форматы.

★ 6,055 · Python
jo-inc/camofox-browser

CamoFox: скрытный браузер

Stealth headless браузер для AI‑агентов, обходящий Cloudflare, защиту от ботов и анти‑скрейпинг. Полностью совместим с Puppeteer и Playwright.

★ 4,734 · JavaScript
eracle/OpenOutreach

OpenOutreach - AI ПОИСК ЛИДОВ

OpenOutreach автоматизирует поиск и связь с потенциальными клиентами в LinkedIn с помощью ИИ.

★ 3,720 · Python
any4ai/AnyCrawl

ЛЮБОЙ САЙТ В ДАННЫЕ ДЛЯ LLM

AnyCrawl — Node.js краулер, который превращает сайты в данные для LLM и извлекает структурированные результаты поиска из Google, Bing, Baidu и других.

★ 3,547 · MDX
spider-rs/spider

SPIDER: МОЛНИЕНОСНЫЙ ВЕБ-КРАУЛЕР

Высокоскоростной стриминг веб-данных с минимальной задержкой. Идеален для реал-тайм парсинга и сбора данных.

★ 2,849 · Rust
brightdata/brightdata-mcp

BRIGHTDATA-MCP: ОДНОРЕШЕНИЕ ДЛЯ WEB

Сервер Model Context Protocol для доступа к публичным веб‑данным без сложной настройки.

★ 2,434 · JavaScript
emcf/thepipe

THEPIPE: ДАННЫЕ ИЗ ДОКУМЕНТОВ БЫСТРО

ThePipe использует vision‑language модели для извлечения чистых данных из PDF, Word и PowerPoint. Автоматически распознаёт таблицы, текст и изображения, преобразуя их в г

★ 1,530 · Python
ScrapingBee/chatgpt-scraper-api

CHATGPT-SCRAPER - ИНТЕЛЛИГЕНТНЫЙ SCRAPER

Получай структурированные ответы от ChatGPT scraping API в одной строке. Включи живой поиск, контекст HTML и автоматизируй задачи.

★ 1,411
m92vyas/llm-reader

LLM READER: ВЕБ В ТЕКСТ

llm-reader превращает веб-страницы в текст, удобный для LLM. Аналог Firecrawl и Jina Reader API. Упрощает RAG, AI-скрейпинг и извлечение ссылок.

★ 316 · Python
opendatalab/MinerU-HTML

SLM-ЭКСТРАКТОР ГЛАВНОГО HTML

MinerU-HTML использует малую языковую модель для извлечения основного контента из HTML-страниц. Выдаёт чистый HTML без мусора. Идеален для RAG, агентов глубокого поиска и

★ 302 · Python
clearcotelabs/clearcote-browser

STEALTH CHROMIUM BROWSER CLEARCOTE

clearcote-browser — открытый стелс-хромиум с подменой отпечатков на уровне движка. Он полностью de-Googled, совместим с Playwright как drop-in замена и собирается из исхо

★ 263 · Python
fikstt2/hh-ai-agent

hh-ai-agent - АВТОМАТИЗИРУЕМ ОТКЛИКИ НА HH.RU

Бот на Python автоматизирует отклики на вакансии hh.ru, используя ИИ для подбора и отправки персонализированных ответов.

★ 261 · Python

Новые проекты по теме — в Telegram

Telegram →
Scraping — 15 open-source проектов на GitHub | REDDYX AI