AISwift★ 232
carloslfu/slotstream
SLOTSTREAM ЗАПУСКАЕТ QWEN3.8 НА МАК
Запустите Qwen3.8‑Flash‑Next (125B MoE, 104 ГБ в 4‑бит) на Mac, загружая эксперты по требованию с SSD. Реализовано на MLX + Swift, предоставляет API, совместимый с Ollama.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Потоково загружает эксперты MoE с SSD, уменьшая потребление RAM до доли от 104 ГБ.
- Работает на Apple Silicon через MLX и Swift, обеспечивая высокую скорость инференса.
- Предлагает API, полностью совместимый с Ollama, для простой интеграции в существующие цепочки.
- Поддерживает запуск Qwen3.8‑Flash‑Next (125B MoE, 4‑бит) на Mac с минимальными ресурсами.
#apple-silicon#llm#llm-inference#local-llm#macos#mixture-of-experts#mlx#ollama#qwen#swift
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram