AIC★ 1,008
microsoft/Tutel
TUTEL УСКОРЯЕМ МОЭ НА C
Оптимизированная библиотека Mixture‑of‑Experts для ускоренного инференса LLM с поддержкой FP8, NVFP4 и MXFP4.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Поддержка FP8, NVFP4, MXFP4 для низкой точности
- Совместим с GptOss, DeepSeek, Kimi‑K2, Qwen3
- Написан на чистом C, минимальные зависимости
#deepseek#llm#mixture-of-experts#moe#pytorch
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram