AIHTML★ 948
data-prep-kit/data-prep-kit
DATA PREP KIT: УСКОРЬ ГЕНЕРАЦИЮ AI
Open‑source набор инструментов для подготовки данных к обучению и использованию моделей GenAI. Упрощает очистку, трансформацию и разметку датасетов.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Автоматическая очистка и нормализация текста
- Поддержка множества форматов: CSV, JSON, Parquet
- Готовые пайплайны для RAG и fine‑tuning
#code-quality#data#data-prep#data-preparation#data-preprocessing#data-preprocessing-pipelines#datacuration#datarecipes#deduplication#finetuning#large-language-models#large-scale-data-processing
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram