AIGo★ 223
raketenkater/llm-server
LLM‑SERVER: МУЛЬТИ‑GPU ЗАПУСК
Авто‑настроенный запуск GGUF моделей на llama.cpp с multi‑GPU tensor‑split, AI Tune и восстановлением после сбоев.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Multi‑GPU tensor‑split для распределения нагрузки
- Автонастройка флагов AI Tune под оборудование
- Краш‑ре восстановление и загрузка моделей HF
#cuda#gguf#golang#inference-server#llama-cpp#llamacpp#llm#local-llm#localllama#metal#moe#multi-gpu
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram