R_REDDYX.XYZ
AIC++★ 1,176⑂ 206 форковMIT

gufo-org/gufo

GUFO: ИНФЕРЕНС НА STRIX HALO

gufo — inference engine для AMD Strix Halo на C++. Qwen Flash Next Q4_K_XL выдаёт 59.41 tok/s (1 юзер) и 157.22 tok/s (8 юзеров). Qwen27B Q4_K_XL с DFlash2 даёт 70.56 tok/s. 210 звёзд на GitHub.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Запускает LLM на AMD Strix Halo через DFlash2
  • Qwen Flash Next Q4_K_XL: 59.41 tok/s (1 юзер)
  • Масштабируется до 157.22 tok/s на 8 юзеров
  • Qwen27B Q4_K_XL выдаёт 70.56 tok/s
#amd#llm#strix-halo
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

MCP СЕРВЕР ДЛЯ DAVINCI RESOLVE★ 1176Ручные аннотации CSS★ 1176МАЛЕНЬКИЙ ИНЖЕНЕР-РОБОТ С ИИ-АССИСТЕНТОМ★ 1176DLSS 5 Feeder для игр★ 1177AWS НАВЫКИ ДЛЯ AI-АГЕНТОВ★ 1175EasyRead: перевод статей★ 1177

← ВЕСЬ КАТАЛОГ

gufo-org/gufo — Gufo: инференс на Strix Halo | REDDYX AI