Data Extraction: open-source проекты на GitHub
14 репозиториев по теме Data Extraction, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.
// СМЕЖНЫЕ ТЕМЫ
Firecrawl API для веба
Firecrawl предоставляет простой API для поиска, скрапинга и взаимодействия с веб-страницами, оптимизированный для использования в AI-приложениях.
★ 118,560 · TypeScriptОТКРЫТЫЙ КРАУЛЕР ДЛЯ LLM
Crawl4ai превращает любой сайт в чистый Markdown, готовый для RAG и агентов. 84k звёзд на GitHub, запуск локально или через облако.
★ 87,369 · PythonАдаптивный веб-скрейпер
Адаптивный фреймворк для веб-скрейпинга, поддерживающий как одиночные запросы, так и масштабные краулеры.
★ 49,091 · PythonSTAGEHAND SDK ДЛЯ БРАУЗЕРНЫХ АГЕНТОВ
Stagehand предоставляет TypeScript SDK для создания браузерных агентов, которые могут взаимодействовать, искать, извлекать и получать данные с любого веб‑сайта надёжно. О
★ 26,054 · TypeScriptScrapegraph: ИИ-скрейпер на Python
Библиотека для веб-скрейпинга с использованием искусственного интеллекта. Автоматически извлекает структурированные данные с любых веб-страниц.
★ 25,439 · PythonАГЕНТ ДЛЯ ОЦЕНКИ ССЫЛОК В ЧАТЕ
Noria — агентский экстрактор для мессенджеров. Получает сообщения и URL, скрейпит веб-страницы, оценивает контент по кастомным матрицам (вакансии, гранты) и присылает стр
★ 4,630 · JavaScriptBRIGHTDATA-MCP: ОДНОРЕШЕНИЕ ДЛЯ WEB
Сервер Model Context Protocol для доступа к публичным веб‑данным без сложной настройки.
★ 2,434 · JavaScriptCONTEXTGEM: ЭКСТРАКЦИЯ ДОКУМЕНТОВ LLM
ContextGem позволяет извлекать структурированные данные из любых документов с помощью LLM без сложного кода.
★ 1,844 · PythonАВТОМАТИЗАЦИЯ БРАУЗЕРА ДЛЯ AI-АГЕНТОВ
CLI-инструмент для автоматизации браузера с обходом антибот-защит, передачей задач человеку и параллельным выполнением в нескольких сессиях.
★ 1,429 · PythonБЫСТРЫЙ АЛЬТЕРНАТИВ FIRECRAWL НА RUST
crw — быстрый аналог Firecrawl/Tavily на Rust: веб‑скрейпер, краулер и поисковый API с MCP‑сервером для AI‑агентов. Совместимый API (/scrape, /crawl, /search), в 2,3× быс
★ 1,257 · RustPDF_OXIDE — PDF БЫСТРЕЕ ВСЕХ
Самая быстрая библиотека PDF для Python и Rust. Извлечение текста/изображений, конвертация в markdown, создание и редактирование.
★ 793 · RustHACKER-NEWS-DIGEST - ЧИТАЙ БЫСТРЕЕ С ИИ
Автоматически суммирует свежие новости Hacker News с помощью ChatGPT, чтобы вы оставались в курсе без лишнего чтения.
★ 754 · PythonINFRASTRUCTURE ДЛЯ AI-АГЕНТОВ
Открытый веб-инструментарий для AI: скрапинг, краулинг, чистый Markdown и браузерные сессии прямо для ваших агентов.
★ 565 · TypeScriptX-TWITTER СКРАПЕР API АЛЬТЕРНАТИВА
X-Twitter скрапер предоставляет REST, MCP, SDK и вебхуки для извлечения твитов, поиска, экспорта подписчиков и работы с AI‑агентами. Это независимая альтернатива официаль
★ 229 · JavaScriptНовые проекты по теме — в Telegram
Telegram →