AIC★ 712⑂ 72 форковGPL-3.0
prabanta-dev/janas
JANAS: БЫСТРЫЙ ИНФЕРЕНС LLM
janas запускает huge LLM (до 48 ГБ) на ноутбуке 32 ГБ, обгоняя llama.cpp в 8‑10 раз. На Qwen3-Next-80B даёт 37 ток/сек без draft и 62 ток/сек при чтении GGUF. Поддерживает CPU+GPU inference на чистом C с AVX2.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Запускает Qwen3-Next-80B (48 ГБ) на ноутбуке 32 ГБ, давая 37 ток/сек без draft.
- Превосходит llama.cpp в 8‑10 раз по скорости генерации на всех 13 моделях Q4_K_M.
- Читает GGUF‑модели со скоростью 62 токенов/сек, почти в 4 раза быстрее llama.cpp.
- Работает на CPU и GPU inference на чистом C с AVX2‑ускорением под Linux.
#avx2#c#cpu-inference#gguf#inference-engine#linux#llm#local-llm#mixture-of-experts#moe#nvme#quantization
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram