AIC++★ 1,108⑂ 84 форковApache-2.0
wici-ai/inferssd
МОДЕЛИ БОЛЬШЕ VRAM НА SSD
inferssd запускает MoE-модели, превышающие RAM и VRAM, стримя экспертов с SSD. Построен на llama.cpp, поддерживает GGUF, CUDA и Apple Silicon. 288 звёзд на GitHub.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Стримит MoE-экспертов с SSD, обходя лимиты VRAM и RAM
- Работает на базе llama.cpp с форматом GGUF
- Поддерживает CUDA и Apple Silicon
- Позволяет запускать модели больше доступной памяти
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram