R_REDDYX.XYZ
AIPython★ 214⑂ 111 форковApache-2.0

mindspore-ai/hyper-parallel

УСКОРЕНИЕ ОБУЧЕНИЯ LLM НА SUPERPOD

Фреймворк для распределённого обучения LLM с учетом топологии SuperPod. Оптимизирует размещение процессов и коммуникацию между GPU. Поддерживает PyTorch и масштабирует на тысячи ускорителей.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Учитывает топологию SuperPod для аффинности процессов
  • Минимизирует меж-GPU коммуникацию при all-reduce
  • Интегрируется с PyTorch Distributed без изменения кода
  • Масштабирует обучение LLM на тысячи H100
#ai-infrastructure#distributed-training#llm#omni#pytorch
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

SHOB – AI-АГЕНТ ДЛЯ КОДА★ 214MEMEX: ЛОКАЛЬНЫЙ AI ЖУРНАЛ★ 214УЧИМСЯ СОЗДАВАТЬ AI АГЕНТОВ★ 214CLAУД СТАЛ ДИЗАЙН-АРХИТЕКТОМ★ 214SELF-HOSTED AI ПЛАТФОРМА★ 214GUARDIANDB: РУСТ ДЕКЕНТР БД★ 214

← ВЕСЬ КАТАЛОГ

mindspore-ai/hyper-parallel — Ускорение обучения LLM на…