AIPython★ 2,713⑂ 340 форковApache-2.0
syv-ai/HyperQwen
HyperQwen: Qwen на потребительских GPU
Проект оптимизирует запуск больших моделей Qwen на доступных GPU с помощью vLLM патчей и реквантизации. Достигает 127 ток/с на 24 ГБ.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Qwen3.8-27B на одной видеокарте 24 ГБ
- 127 ток/с (один пользователь), 1035 ток/с при 64 параллельных
- Поддержка контекста 150–262k токенов
- Патчи vLLM и пайплайн реквантизации
#consumer-gpu#cuda#inference-optimization#kv-cache#llm-inference#local-llm#quantization#qwen#qwen3#rtx-3090#speculative-decoding#vllm
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram