R_REDDYX.XYZ
DevToolsPython★ 43,332⑂ 5,075 форковApache-2.0

deepspeedai/DeepSpeed

DeepSpeed: библиотека оптимизации обучения

DeepSpeed — библиотека оптимизации deep learning, обеспечивающая эффективное распределенное обучение и инференс. Поддерживает технологии ZeRO, MoE и параллелизм для обучения моделей на сотни миллиардов параметров.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Распределенное обучение моделей до 530B параметров
  • Поддержка технологий ZeRO, MoE и 3D-параллелизма
  • Интеграция с Transformers, Accelerate и Lightning
  • Установка через pip, независимая от версий CUDA/PyTorch

// РАЗБОР: КАК ЭТО РАБОТАЕТ

DeepSpeed — это библиотека оптимизации deep learning, упрощающая распределенное обучение и инференс моделей. Включает технологии ZeRO, ZeRO-Infinity, 3D-параллелизм, Ulysses Sequence Parallelism и DeepSpeed-MoE для масштабирования на сотни миллиардов параметров. Интегрируется с фреймворками Transformers, Accelerate, Lightning, MosaicML, Determined и MMEngine.

Репозиторий поддерживает сборку на hardware NVIDIA, AMD, CPU, Intel Gaudi, Intel XPU и Huawei Ascend NPU, что делает его универсальным для разных серверов. Установка происходит через pip и не привязана к конкретным версиям PyTorch или CUDA, что упрощает старт проектов разного масштаба.

Рекомендуется для задач обучения и инференса крупных моделей, требующих эффективного управления памятью и вычислительных ресурсов. Офисные часы про проекта проходят последний вторник месяца via Zoom, а последние новости охватывают обновления оптимизаторов, оффлоадинг и новые параллелизм-методы.

// СЦЕНАРИИ ИСПОЛЬЗОВАНИЯ

Кому пригодится: Разработчикам и исследователям, работающим с крупными языковыми моделями

  • Обучать модели до 530B параметров на нескольких GPU
  • Интегрировать LLM в проекты на базе Transformers
  • Масштабировать обучение с ZeRO-Infinity и MoE
#billion-parameters#compression#data-parallelism#deep-learning#gpu#inference#machine-learning#mixture-of-experts#model-parallelism#pipeline-parallelism#pytorch#trillion-parameters
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

ФРЕЙМВОРК ДЛЯ ДЕШЁВОГО ОБУЧЕНИЯ БОЛЬШИХ МОДЕЛЕЙ★ 41422САМОХОСТИНГ GIT-СЕРВИС НА GO★ 47943API СЛОЙ ДЛЯ ЛОКАЛЬНЫХ AI ПРИЛОЖЕНИЙ★ 57640ОТКРЫТЫЙ ИНСТРУМЕНТ ДИЗАЙНА В КОДЕ★ 27239БЫСТРЫЙ AI-ПОИСКОВЫЙ ДВИЖОК★ 59884ВЫСОКОПРОИЗВОДИТЕЛЬНЫЙ ФРЕЙМВОРК ИНФЕРЕНСА ДЛЯ МОБИЛЬНЫХ★ 24068

← ВЕСЬ КАТАЛОГ

deepspeedai/DeepSpeed — DeepSpeed: библиотека оптимизации…