R_REDDYX.XYZ
AIPython★ 2,713⑂ 340 форковApache-2.0

syv-ai/HyperQwen

HyperQwen: Qwen на потребительских GPU

Проект оптимизирует запуск больших моделей Qwen на доступных GPU с помощью vLLM патчей и реквантизации. Достигает 127 ток/с на 24 ГБ.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Qwen3.8-27B на одной видеокарте 24 ГБ
  • 127 ток/с (один пользователь), 1035 ток/с при 64 параллельных
  • Поддержка контекста 150–262k токенов
  • Патчи vLLM и пайплайн реквантизации
#consumer-gpu#cuda#inference-optimization#kv-cache#llm-inference#local-llm#quantization#qwen#qwen3#rtx-3090#speculative-decoding#vllm
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

intellectronica/ruler★ 2710PAPERSGPT — AI ДЛЯ ZOTERO★ 2709Универсальный переводчик контента★ 2718SOLANA MCP VYBE: ОТКРЫТЫЙ РЕЕСТР★ 2720МТПЛХ СУПЕРБЫСТРЫЙ ЗАПУСК★ 2706АГЕНТОВ - EXPER SKILLS★ 2705

← ВЕСЬ КАТАЛОГ

syv-ai/HyperQwen — HyperQwen: Qwen на потребительских GPU