R_REDDYX.XYZ

Crawler: open-source проекты на GitHub

12 репозиториев по теме Crawler, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.

// СМЕЖНЫЕ ТЕМЫ

Web Scraping 51LLM 2064Data Extraction 14Markdown 97Scraping 15AI Agents 1303Scraper 14MCP 1593RAG 507AI Search 19MCP Server 627Web Search 17Playwright 59Automation 258
firecrawl/firecrawl

Firecrawl API для веба

Firecrawl предоставляет простой API для поиска, скрапинга и взаимодействия с веб-страницами, оптимизированный для использования в AI-приложениях.

★ 118,560 · TypeScript
unclecode/crawl4ai

ОТКРЫТЫЙ КРАУЛЕР ДЛЯ LLM

Crawl4ai превращает любой сайт в чистый Markdown, готовый для RAG и агентов. 84k звёзд на GitHub, запуск локально или через облако.

★ 87,369 · Python
D4Vinci/Scrapling

Адаптивный веб-скрейпер

Адаптивный фреймворк для веб-скрейпинга, поддерживающий как одиночные запросы, так и масштабные краулеры.

★ 49,091 · Python
ScrapeGraphAI/Scrapegraph-ai

Scrapegraph: ИИ-скрейпер на Python

Библиотека для веб-скрейпинга с использованием искусственного интеллекта. Автоматически извлекает структурированные данные с любых веб-страниц.

★ 25,439 · Python
Evil0ctal/Douyin_TikTok_Download_API

DOUYIN TIKTOK DOWNLOADER API

Self-hosted TikTok/Douyin scraper с async REST API, MCP, CLI и консолью скачивает видео без watermarks и собирает посты, профили, комментарии и плейлисты. Включает самово

★ 21,404 · Python
adbar/trafilatura

TRAFILATURA - ПАРСИМ ВЕБ ЗА МИНУТУ

Trafilatura извлекает чистый текст и метаданные со страниц, поддерживая CSV, JSON, HTML и другие форматы.

★ 6,055 · Python
spider-rs/spider

SPIDER: МОЛНИЕНОСНЫЙ ВЕБ-КРАУЛЕР

Высокоскоростной стриминг веб-данных с минимальной задержкой. Идеален для реал-тайм парсинга и сбора данных.

★ 2,849 · Rust
fastcrw/crw

БЫСТРЫЙ АЛЬТЕРНАТИВ FIRECRAWL НА RUST

crw — быстрый аналог Firecrawl/Tavily на Rust: веб‑скрейпер, краулер и поисковый API с MCP‑сервером для AI‑агентов. Совместимый API (/scrape, /crawl, /search), в 2,3× быс

★ 1,257 · Rust
codelibs/fess

FESS: ПОИСК С ИИ В БИЗНЕСЕ

Fess – открытый поисковый сервер на OpenSearch, индексирующий веб, файлы, БД и облака, поддерживающий более 20 языков и семантический поиск с ИИ/RAG.

★ 1,151 · Java
polyrabbit/hacker-news-digest

HACKER-NEWS-DIGEST - ЧИТАЙ БЫСТРЕЕ С ИИ

Автоматически суммирует свежие новости Hacker News с помощью ChatGPT, чтобы вы оставались в курсе без лишнего чтения.

★ 754 · Python
vakra-dev/reader

INFRASTRUCTURE ДЛЯ AI-АГЕНТОВ

Открытый веб-инструментарий для AI: скрапинг, краулинг, чистый Markdown и браузерные сессии прямо для ваших агентов.

★ 565 · TypeScript
he-yufeng/FindJobs-Agent

🔥 ИИ-АГЕНТ ДЛЯ ПОИСКА РАБОТЫ

LLM-инструмент для анализа навыков, ИИ-собеседований, скоринга резюме и структурирования вакансий с адаптивной сложностью.

★ 244 · Python

Новые проекты по теме — в Telegram

Telegram →
Crawler — 12 open-source проектов на GitHub | REDDYX AI