R_REDDYX.XYZ
AIC★ 712⑂ 72 форковGPL-3.0

prabanta-dev/janas

JANAS: БЫСТРЫЙ ИНФЕРЕНС LLM

janas запускает huge LLM (до 48 ГБ) на ноутбуке 32 ГБ, обгоняя llama.cpp в 8‑10 раз. На Qwen3-Next-80B даёт 37 ток/сек без draft и 62 ток/сек при чтении GGUF. Поддерживает CPU+GPU inference на чистом C с AVX2.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Запускает Qwen3-Next-80B (48 ГБ) на ноутбуке 32 ГБ, давая 37 ток/сек без draft.
  • Превосходит llama.cpp в 8‑10 раз по скорости генерации на всех 13 моделях Q4_K_M.
  • Читает GGUF‑модели со скоростью 62 токенов/сек, почти в 4 раза быстрее llama.cpp.
  • Работает на CPU и GPU inference на чистом C с AVX2‑ускорением под Linux.
#avx2#c#cpu-inference#gguf#inference-engine#linux#llm#local-llm#mixture-of-experts#moe#nvme#quantization
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

SOULFORGE — ИИ-АГЕНТ КОДА★ 712HTML‑видео слой для агентов★ 712🤖 SPEC_DRIVEN_DEVELOP - ОТ ХАОСА К ПОРЯДКУ В РЕФАКТОРИНГЕ★ 713BRAIN.MD – ИИ-ПАМЯТЬ ДЛЯ КОДА★ 711SEARCHGPT: ИИ‑ПОИСК С ИСТОЧНИКАМИ★ 711БЕСПЛАТНЫЙ ДИДЖИТАЙЗЕР ВЫШИВОК★ 711

← ВЕСЬ КАТАЛОГ

prabanta-dev/janas — Janas: быстрый инференс LLM | REDDYX AI