leyten/shard

Shard реализует pipeline‑параллелизм для запуска больших языковых моделей на нескольких GPU‑узлах, позволяя выполнять inference без необходимости размещать всю модель в памяти одного устройства.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

• Pipeline‑параллелизм слоёв модели между GPU на разных машинах.
• Автоматическое разделение и сборка тензоров, минимизирующее задержки передачи данных.
• Поддержка Hugging Face Transformers и динамический batching роста пропускной способности.

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.