deepspeedai/DeepSpeed
DeepSpeed: библиотека оптимизации обучения
DeepSpeed — библиотека оптимизации deep learning, обеспечивающая эффективное распределенное обучение и инференс. Поддерживает технологии ZeRO, MoE и параллелизм для обучения моделей на сотни миллиардов параметров.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Распределенное обучение моделей до 530B параметров
- Поддержка технологий ZeRO, MoE и 3D-параллелизма
- Интеграция с Transformers, Accelerate и Lightning
- Установка через pip, независимая от версий CUDA/PyTorch
// РАЗБОР: КАК ЭТО РАБОТАЕТ
DeepSpeed — это библиотека оптимизации deep learning, упрощающая распределенное обучение и инференс моделей. Включает технологии ZeRO, ZeRO-Infinity, 3D-параллелизм, Ulysses Sequence Parallelism и DeepSpeed-MoE для масштабирования на сотни миллиардов параметров. Интегрируется с фреймворками Transformers, Accelerate, Lightning, MosaicML, Determined и MMEngine.
Репозиторий поддерживает сборку на hardware NVIDIA, AMD, CPU, Intel Gaudi, Intel XPU и Huawei Ascend NPU, что делает его универсальным для разных серверов. Установка происходит через pip и не привязана к конкретным версиям PyTorch или CUDA, что упрощает старт проектов разного масштаба.
Рекомендуется для задач обучения и инференса крупных моделей, требующих эффективного управления памятью и вычислительных ресурсов. Офисные часы про проекта проходят последний вторник месяца via Zoom, а последние новости охватывают обновления оптимизаторов, оффлоадинг и новые параллелизм-методы.
// СЦЕНАРИИ ИСПОЛЬЗОВАНИЯ
Кому пригодится: Разработчикам и исследователям, работающим с крупными языковыми моделями
- Обучать модели до 530B параметров на нескольких GPU
- Интегрировать LLM в проекты на базе Transformers
- Масштабировать обучение с ZeRO-Infinity и MoE
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram