R_REDDYX.XYZ
AIPython★ 26,027⑂ 3,195 форковApache-2.0

deepseek-ai/DeepInfer

Фреймворк инференса для моделей DeepSeek

DeepInfer — высокопроизводительный фреймворк для крупномасштабного инференса моделей DeepSeek с поддержкой параллелизма и квантования.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Тензорная и конвейерная параллельность
  • Поддержка квантования W4A4/W8A8
  • Непрерывная батчеризация запросов
  • Оптимизированные ядра для Hopper/Ampere
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

MLflow — AI-платформа★ 26029STAGEHAND SDK ДЛЯ БРАУЗЕРНЫХ АГЕНТОВ★ 26054CLI для Google Workspace★ 26101SKILLSPECTOR: ЗАЩИТА АГЕНТОВ★ 26146LLM Fit — подбор моделей★ 26289Графи знаний для ИИ★ 26296

← ВЕСЬ КАТАЛОГ

deepseek-ai/DeepInfer — Фреймворк инференса для моделей…