AIRust★ 231⑂ 29 форков
RustingStudio/RustingStrata
PURE-RUST ДВИЖОК ДЛЯ QWEN GGUF
RustingStrata — чисто на Rust движок вывода для Qwen GGUF (Qwen3–3.8, MoE до 770B+). Поддерживает CUDA/Vulkan, гибрид CPU+GPU, MTP спекулятивное декодирование. До 1.7x llama.cpp на RTX 3060 12GB.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Запускает Qwen3–Qwen3.8 dense и MoE до 770B+ в GGUF
- CUDA/Vulkan на NVIDIA/AMD, гибрид экспертов CPU+GPU
- MTP спекулятивное декодирование ускоряет генерацию
- OpenAI/Anthropic API сервер, до 1.7x llama.cpp на 3060
#anthropic-api#cuda#gguf#inference#llama-cpp#llm#local-llm#mixture-of-experts#moe#mtp#openai-api#qwen
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram