AIPython★ 1,620
NVIDIA-NeMo/Curator
CURATOR: ПОДГОТОВКА ДАННЫХ LLM
Curator — набор инструментов для предобработки и курации данных, ускоряющий обучение LLM.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Автоматическая очистка и нормализация данных
- Поддержка множества форматов (CSV, JSON, Parquet)
- Интеграция с популярными фреймворками LLM
#data#data-curation#data-prep#data-preparation#data-processing#data-processing-pipelines#data-quality#datacuration#datarecipes#deduplication#fast-data-processing#fine-tuning
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram