R_REDDYX.XYZ
AIRust★ 231⑂ 29 форков

RustingStudio/RustingStrata

PURE-RUST ДВИЖОК ДЛЯ QWEN GGUF

RustingStrata — чисто на Rust движок вывода для Qwen GGUF (Qwen3–3.8, MoE до 770B+). Поддерживает CUDA/Vulkan, гибрид CPU+GPU, MTP спекулятивное декодирование. До 1.7x llama.cpp на RTX 3060 12GB.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Запускает Qwen3–Qwen3.8 dense и MoE до 770B+ в GGUF
  • CUDA/Vulkan на NVIDIA/AMD, гибрид экспертов CPU+GPU
  • MTP спекулятивное декодирование ускоряет генерацию
  • OpenAI/Anthropic API сервер, до 1.7x llama.cpp на 3060
#anthropic-api#cuda#gguf#inference#llama-cpp#llm#local-llm#mixture-of-experts#moe#mtp#openai-api#qwen
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

Claude для немецкого права★ 231HEALTHCHAIN: AI ДЛЯ МЕДИЦИНСКИХ ДАННЫХ★ 231GOGRAPH АНАЛИЗ КОДА ДЛЯ ИИ★ 231SIMPLERLLM: ЛЁГКАЯ РАБОТА С LLM★ 231KUBETERM: KUBERNETES В РУКАХ★ 231GO-WIND CMS: ПОЛНОСТЬЮ GO СТЕК★ 231

← ВЕСЬ КАТАЛОГ

RustingStudio/RustingStrata — Pure-Rust движок для Qwen GGUF