R_REDDYX.XYZ
AIPython★ 302⑂ 28 форковApache-2.0

opendatalab/MinerU-HTML

SLM-ЭКСТРАКТОР ГЛАВНОГО HTML

MinerU-HTML использует малую языковую модель для извлечения основного контента из HTML-страниц. Выдаёт чистый HTML без мусора. Идеален для RAG, агентов глубокого поиска и генерации обучающих данных.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Извлекает основной контент через SLM
  • Возвращает чистый HTML без навигации и рекламы
  • Работает офлайн на CPU без API-ключей
  • Подходит для RAG, скрейпинга и датасетов
#article-extractor#corpus-tools#nlp#rag#scraping#text-extraction#trafilatura#web-scraping#webagent
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

HARNESHKIT - УНИВЕРСАЛЬНЫЙ МЕНЕДЖЕР АГЕНТОВ★ 302COLETTE МУЛЬТИМОДАЛЬНЫЙ RAG★ 302ADLOOP: ИИ-ХУБ ДЛЯ РЕКЛАМЫ★ 302AGENTSWARMS AI БИЗНЕС-ПЛАТФОРМА★ 302Soku CLI для данных★ 302ALGO‑SENSEI: AI МЕНТОР ПО АЛГОРИТМАМ★ 302

← ВЕСЬ КАТАЛОГ

opendatalab/MinerU-HTML — Slm-экстрактор главного Html