R_REDDYX.XYZ
AIRust★ 238⑂ 29 форков

giannisanni/pulsar

PULSAR — УЛЬТРАБЫСТРЫЙ ИНФЕРЕНС MOE

Pulsar — SSD‑стриминговый движок для гигантских MoE‑моделей на Rust+CUDA.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Измеряет PCIe‑полосу и размещает внимание и эксперты.
  • Автоматическое мульти‑GPU без настроек.
  • Работает на Rust + CUDA, обеспечивая 2‑7 tok/s на 16 ГБ GPU.
#cuda#gguf#glm#inference-engine#llm#local-llm#mixture-of-experts#moe#multi-gpu#quantization#rust#ssd-streaming
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

ADHD — НАВЫК ДЛЯ КОДИНГ-АГЕНТОВ★ 238AnyKB: приватный RAG-агент★ 238ИИ-СОВЕТНИК ДЛЯ ТРЕЙДЕРОВ★ 238AI-КОМАНДА ДЛЯ РЕВЬЮ КОДА★ 238GPT-ALL-STAR — КОМАНДА AI-АГЕНТОВ ПИШЕТ КОД★ 238BEACON-SKILL: ПИНГИ МЕЖДУ АГЕНТАМИ★ 238

← ВЕСЬ КАТАЛОГ

giannisanni/pulsar — Pulsar — ультрабыстрый инференс Moe