Crawler: open-source проекты на GitHub
12 репозиториев по теме Crawler, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.
// СМЕЖНЫЕ ТЕМЫ
Firecrawl API для веба
Firecrawl предоставляет простой API для поиска, скрапинга и взаимодействия с веб-страницами, оптимизированный для использования в AI-приложениях.
★ 118,560 · TypeScriptОТКРЫТЫЙ КРАУЛЕР ДЛЯ LLM
Crawl4ai превращает любой сайт в чистый Markdown, готовый для RAG и агентов. 84k звёзд на GitHub, запуск локально или через облако.
★ 87,369 · PythonАдаптивный веб-скрейпер
Адаптивный фреймворк для веб-скрейпинга, поддерживающий как одиночные запросы, так и масштабные краулеры.
★ 49,091 · PythonScrapegraph: ИИ-скрейпер на Python
Библиотека для веб-скрейпинга с использованием искусственного интеллекта. Автоматически извлекает структурированные данные с любых веб-страниц.
★ 25,439 · PythonDOUYIN TIKTOK DOWNLOADER API
Self-hosted TikTok/Douyin scraper с async REST API, MCP, CLI и консолью скачивает видео без watermarks и собирает посты, профили, комментарии и плейлисты. Включает самово
★ 21,404 · PythonTRAFILATURA - ПАРСИМ ВЕБ ЗА МИНУТУ
Trafilatura извлекает чистый текст и метаданные со страниц, поддерживая CSV, JSON, HTML и другие форматы.
★ 6,055 · PythonSPIDER: МОЛНИЕНОСНЫЙ ВЕБ-КРАУЛЕР
Высокоскоростной стриминг веб-данных с минимальной задержкой. Идеален для реал-тайм парсинга и сбора данных.
★ 2,849 · RustБЫСТРЫЙ АЛЬТЕРНАТИВ FIRECRAWL НА RUST
crw — быстрый аналог Firecrawl/Tavily на Rust: веб‑скрейпер, краулер и поисковый API с MCP‑сервером для AI‑агентов. Совместимый API (/scrape, /crawl, /search), в 2,3× быс
★ 1,257 · RustFESS: ПОИСК С ИИ В БИЗНЕСЕ
Fess – открытый поисковый сервер на OpenSearch, индексирующий веб, файлы, БД и облака, поддерживающий более 20 языков и семантический поиск с ИИ/RAG.
★ 1,151 · JavaHACKER-NEWS-DIGEST - ЧИТАЙ БЫСТРЕЕ С ИИ
Автоматически суммирует свежие новости Hacker News с помощью ChatGPT, чтобы вы оставались в курсе без лишнего чтения.
★ 754 · PythonINFRASTRUCTURE ДЛЯ AI-АГЕНТОВ
Открытый веб-инструментарий для AI: скрапинг, краулинг, чистый Markdown и браузерные сессии прямо для ваших агентов.
★ 565 · TypeScript🔥 ИИ-АГЕНТ ДЛЯ ПОИСКА РАБОТЫ
LLM-инструмент для анализа навыков, ИИ-собеседований, скоринга резюме и структурирования вакансий с адаптивной сложностью.
★ 244 · PythonНовые проекты по теме — в Telegram
Telegram →