AIC++★ 1,025⑂ 142 форковMIT
jesdga95/basalt
Локальный движок вывода Qwen3 на Blackwell
Высокопроизводительный C++ движок для запуска Qwen3.8-Flash-Next на GPU NVIDIA Blackwell с поддержкой квантования и OpenAI-совместимым API.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Запуск Qwen3.8-Flash-Next на GPU Blackwell без облака
- Оптимизированный C++ бэкенд с TensorRT и FlashAttention-3
- Поддержка FP8 и BF16 квантования для экономии VRAM
- OpenAI-совместимый REST API сервер для интеграции
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram