R_REDDYX.XYZ
AIC++★ 1,108⑂ 84 форковApache-2.0

wici-ai/inferssd

МОДЕЛИ БОЛЬШЕ VRAM НА SSD

inferssd запускает MoE-модели, превышающие RAM и VRAM, стримя экспертов с SSD. Построен на llama.cpp, поддерживает GGUF, CUDA и Apple Silicon. 288 звёзд на GitHub.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Стримит MoE-экспертов с SSD, обходя лимиты VRAM и RAM
  • Работает на базе llama.cpp с форматом GGUF
  • Поддерживает CUDA и Apple Silicon
  • Позволяет запускать модели больше доступной памяти
#apple-silicon#cuda#gguf#inference#llama-cpp#llm#metal#mixture-of-experts#ssd
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

OPENJUDGE - НОВЫЙ AI-ОЦЕНЩИК★ 1105MOMO CODE: АГЕНТ ИИ ДЛЯ КОДА★ 1112MOTTY — SSH И AI В ОДНОМ ОКНЕ★ 1104JAMAIBASE ИИ-ТАБЛИЦА ДЛЯ КОМАНДЫ★ 1103Burp Suite AI‑агент★ 1102VM0: ВИРТУАЛЬНЫЙ ИИ-АССИСТЕНТ★ 1114

← ВЕСЬ КАТАЛОГ

wici-ai/inferssd — Модели больше VRAM на Ssd | REDDYX AI