AIPython★ 26,027⑂ 3,195 форковApache-2.0
deepseek-ai/DeepInfer
Фреймворк инференса для моделей DeepSeek
DeepInfer — высокопроизводительный фреймворк для крупномасштабного инференса моделей DeepSeek с поддержкой параллелизма и квантования.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Тензорная и конвейерная параллельность
- Поддержка квантования W4A4/W8A8
- Непрерывная батчеризация запросов
- Оптимизированные ядра для Hopper/Ampere
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram