AIRust★ 203
giannisanni/pulsar
PULSAR — УЛЬТРАБЫСТРЫЙ ИНФЕРЕНС MOE
Pulsar — SSD‑стриминговый движок для гигантских MoE‑моделей на Rust+CUDA.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Измеряет PCIe‑полосу и размещает внимание и эксперты.
- Автоматическое мульти‑GPU без настроек.
- Работает на Rust + CUDA, обеспечивая 2‑7 tok/s на 16 ГБ GPU.
#cuda#gguf#glm#inference-engine#llm#local-llm#mixture-of-experts#moe#multi-gpu#quantization#rust#ssd-streaming
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram