AIGo★ 226
raketenkater/ggrun
НЕ ОЛЛАМА — мнение не придерживаюсь
Auto-tuned launcher для GGUF моделей на llama.cpp — сервер с поддержкой нескольких GPU, настройкой под железо и восстановлением после крашей. Звёздочек: 226.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Multi-GPU tensor-split для распределения по картам
- AI Tune — автоматический подбор флагов под ваше железо
- Авторесайзер после падений и HuggingFace интеграция
#cuda#gguf#golang#inference-server#llama-cpp#llamacpp#llm#local-llm#localllama#metal#moe#multi-gpu
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram