AIPython★ 214⑂ 111 форковApache-2.0
mindspore-ai/hyper-parallel
УСКОРЕНИЕ ОБУЧЕНИЯ LLM НА SUPERPOD
Фреймворк для распределённого обучения LLM с учетом топологии SuperPod. Оптимизирует размещение процессов и коммуникацию между GPU. Поддерживает PyTorch и масштабирует на тысячи ускорителей.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Учитывает топологию SuperPod для аффинности процессов
- Минимизирует меж-GPU коммуникацию при all-reduce
- Интегрируется с PyTorch Distributed без изменения кода
- Масштабирует обучение LLM на тысячи H100
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram