AIRust★ 1,060
fastcrw/crw
БЫСТРЫЙ АЛЬТЕРНАТИВ FIRECRAWL НА RUST
crw — быстрый аналог Firecrawl/Tavily на Rust: веб‑скрейпер, краулер и поисковый API с MCP‑сервером для AI‑агентов. Совместимый API (/scrape, /crawl, /search), в 2,3× быстрее Tavily и в 1,5× быстрее Firecrawl на 1 000 URL, 6 МБ ОЗУ, бинарник, хостинг.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Одностраничный скрейп: endpoint /scrape возвращает чистый markdown/HTML за миллисекунды.
- Рекурсивный краулер: /crawl обходит сайт до заданной глубины, соблюдая robots.txt и sitemap.
- Поисковый API: /search выдаёт ранжированные результаты с сниппетами, совместимый с Tavily.
- MCP‑сервер для AI‑агентов: предоставляет инструменты scrape, crawl, search через стандартный MCP.
#ai#ai-agents#crawler#data-extraction#docker#firecrawl-alternative#html-to-markdown#llm#markdown#mcp#mcp-server#rust
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram