AIC++★ 1,176⑂ 206 форковMIT
gufo-org/gufo
GUFO: ИНФЕРЕНС НА STRIX HALO
gufo — inference engine для AMD Strix Halo на C++. Qwen Flash Next Q4_K_XL выдаёт 59.41 tok/s (1 юзер) и 157.22 tok/s (8 юзеров). Qwen27B Q4_K_XL с DFlash2 даёт 70.56 tok/s. 210 звёзд на GitHub.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Запускает LLM на AMD Strix Halo через DFlash2
- Qwen Flash Next Q4_K_XL: 59.41 tok/s (1 юзер)
- Масштабируется до 157.22 tok/s на 8 юзеров
- Qwen27B Q4_K_XL выдаёт 70.56 tok/s
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram