Scraping: open-source проекты на GitHub
15 репозиториев по теме Scraping, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.
// СМЕЖНЫЕ ТЕМЫ
Firecrawl API для веба
Firecrawl предоставляет простой API для поиска, скрапинга и взаимодействия с веб-страницами, оптимизированный для использования в AI-приложениях.
★ 118,560 · TypeScriptАдаптивный веб-скрейпер
Адаптивный фреймворк для веб-скрейпинга, поддерживающий как одиночные запросы, так и масштабные краулеры.
★ 49,091 · PythonScrapegraph: ИИ-скрейпер на Python
Библиотека для веб-скрейпинга с использованием искусственного интеллекта. Автоматически извлекает структурированные данные с любых веб-страниц.
★ 25,439 · PythonTRAFILATURA - ПАРСИМ ВЕБ ЗА МИНУТУ
Trafilatura извлекает чистый текст и метаданные со страниц, поддерживая CSV, JSON, HTML и другие форматы.
★ 6,055 · PythonCamoFox: скрытный браузер
Stealth headless браузер для AI‑агентов, обходящий Cloudflare, защиту от ботов и анти‑скрейпинг. Полностью совместим с Puppeteer и Playwright.
★ 4,734 · JavaScriptOpenOutreach - AI ПОИСК ЛИДОВ
OpenOutreach автоматизирует поиск и связь с потенциальными клиентами в LinkedIn с помощью ИИ.
★ 3,720 · PythonЛЮБОЙ САЙТ В ДАННЫЕ ДЛЯ LLM
AnyCrawl — Node.js краулер, который превращает сайты в данные для LLM и извлекает структурированные результаты поиска из Google, Bing, Baidu и других.
★ 3,547 · MDXSPIDER: МОЛНИЕНОСНЫЙ ВЕБ-КРАУЛЕР
Высокоскоростной стриминг веб-данных с минимальной задержкой. Идеален для реал-тайм парсинга и сбора данных.
★ 2,849 · RustBRIGHTDATA-MCP: ОДНОРЕШЕНИЕ ДЛЯ WEB
Сервер Model Context Protocol для доступа к публичным веб‑данным без сложной настройки.
★ 2,434 · JavaScriptTHEPIPE: ДАННЫЕ ИЗ ДОКУМЕНТОВ БЫСТРО
ThePipe использует vision‑language модели для извлечения чистых данных из PDF, Word и PowerPoint. Автоматически распознаёт таблицы, текст и изображения, преобразуя их в г
★ 1,530 · PythonCHATGPT-SCRAPER - ИНТЕЛЛИГЕНТНЫЙ SCRAPER
Получай структурированные ответы от ChatGPT scraping API в одной строке. Включи живой поиск, контекст HTML и автоматизируй задачи.
★ 1,411LLM READER: ВЕБ В ТЕКСТ
llm-reader превращает веб-страницы в текст, удобный для LLM. Аналог Firecrawl и Jina Reader API. Упрощает RAG, AI-скрейпинг и извлечение ссылок.
★ 316 · PythonSLM-ЭКСТРАКТОР ГЛАВНОГО HTML
MinerU-HTML использует малую языковую модель для извлечения основного контента из HTML-страниц. Выдаёт чистый HTML без мусора. Идеален для RAG, агентов глубокого поиска и
★ 302 · PythonSTEALTH CHROMIUM BROWSER CLEARCOTE
clearcote-browser — открытый стелс-хромиум с подменой отпечатков на уровне движка. Он полностью de-Googled, совместим с Playwright как drop-in замена и собирается из исхо
★ 263 · Pythonhh-ai-agent - АВТОМАТИЗИРУЕМ ОТКЛИКИ НА HH.RU
Бот на Python автоматизирует отклики на вакансии hh.ru, используя ИИ для подбора и отправки персонализированных ответов.
★ 261 · PythonНовые проекты по теме — в Telegram
Telegram →