R_REDDYX.XYZ
AIPython★ 472⑂ 66 форковApache-2.0

leyten/shard

Shard: распределённый вывод

Shard реализует pipeline‑параллелизм для запуска больших языковых моделей на нескольких GPU‑узлах, позволяя выполнять inference без необходимости размещать всю модель в памяти одного устройства.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Pipeline‑параллелизм слоёв модели между GPU на разных машинах.
  • Автоматическое разделение и сборка тензоров, минимизирующее задержки передачи данных.
  • Поддержка Hugging Face Transformers и динамический batching роста пропускной способности.
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

ПАРСБЕНЧ: ОЦЕНКА AI-АГЕНТОВ★ 472SPONSIO - БЕЗОПАСНОСТЬ AI АГЕНТОВ★ 472PILOT - УСКОРЯЕМ РАЗРАБОТКУ С AI★ 471БЛОКРАН-МСР: ЖИВЫЕ ДАННЫЕ ДЛЯ ИИ★ 471ROAM-CODE - ИИ АГЕНТ ДЛЯ КОДА★ 473JAVA AI ФРЕЙМВОРК НОВОГО ПОКОЛЕНИЯ★ 473

← ВЕСЬ КАТАЛОГ

leyten/shard — Shard: распределённый вывод | REDDYX AI