R_REDDYX.XYZ
DevToolsPython★ 41,422⑂ 4,487 форковApache-2.0

hpcaitech/ColossalAI

ФРЕЙМВОРК ДЛЯ ДЕШЁВОГО ОБУЧЕНИЯ БОЛЬШИХ МОДЕЛЕЙ

Библиотека для распределённого обучения и инференса больших языковых моделей. Поддерживает стратегии параллелизма Zero, тензорную и конвейерную параллельность для снижения затрат на GPU.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Поддержка Zero1, Zero2, тензорной и конвейерной параллельности
  • Бенчмарки на H200/B200: до 50% выше пропускная способность на 7B
  • Интеграция с FP8 смешанной точностью для экономии памяти
  • Экосистема: Open-Sora (видео), Colossal-Inference, облачные API

// РАЗБОР: КАК ЭТО РАБОТАЕТ

Colossal-AI реализует несколько стратегий распределённого обучения: Zero Redundancy Optimizer (Zero1/2) для разделения состояний оптимизатора, градиентов и параметров; тензорную параллельность (TP) для раскроя матриц по устройствам; конвейерную параллельность (PP) для перекрытия вычислений и коммуникации. Фреймворк интегрируется в PyTorch и позволяет комбинировать подходы (например, zero1+tp2+pp4) под конкретную топологию кластера.

В отличие от базового DDP или DeepSpeed, Colossal-AI предоставляет единый интерфейс для гибридной параллельности и автоматического поиска оптимальной конфигурации. В экосистему входят Open-Sora для генерации видео, Colossal-Inference для ускоренного инференса и готовые рецепты дообучения моделей вроде DeepSeek 671B. Бенчмарки показывают, что на B200 достигается 805 TFLOPS/GPU при обучении 7B модели с гибридной параллельностью.

Требуются кластеры с NVIDIA GPU (H100/H200/B200) и высокоскоростным интерконнектом (NVLink/InfiniBand) для реализации заявленной производительности. Поддерживается Linux; для запуска нужен Python и PyTorch. Облачная платформа HPC-AI Cloud предлагает готовые среды с биллингом по часам ($1.99–2.47/hr), но сам фреймворк открыт и может разворачиваться on-premise.

// СЦЕНАРИИ ИСПОЛЬЗОВАНИЯ

Кому пригодится: ML-инженерам для обучения LLM на кластерах GPU

  • Обучить 70B модель на 16 GPU с гибридной параллельностью zero1+tp2+pp4
  • Снизить память оптимизатора через Zero2 при дообновлении LLM на кластере
  • Развернуть инференс с Colossal-Inference для ускорения генерации токенов
#ai#big-model#data-parallelism#deep-learning#distributed-computing#foundation-models#heterogeneous-training#hpc#inference#large-scale#model-parallelism#pipeline-parallelism
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

DeepSpeed: библиотека оптимизации обучения★ 43332САМОХОСТИНГ GIT-СЕРВИС НА GO★ 47943ОТКРЫТЫЙ ИНСТРУМЕНТ ДИЗАЙНА В КОДЕ★ 27239API СЛОЙ ДЛЯ ЛОКАЛЬНЫХ AI ПРИЛОЖЕНИЙ★ 57640ВЫСОКОПРОИЗВОДИТЕЛЬНЫЙ ФРЕЙМВОРК ИНФЕРЕНСА ДЛЯ МОБИЛЬНЫХ★ 24068БЫСТРЫЙ AI-ПОИСКОВЫЙ ДВИЖОК★ 59884

← ВЕСЬ КАТАЛОГ

hpcaitech/ColossalAI — Фреймворк для дешёвого обучения…