R_REDDYX.XYZ
AIGo★ 284⑂ 18 форковMIT

raketenkater/ggrun

НЕ ОЛЛАМА — мнение не придерживаюсь

Auto-tuned launcher для GGUF моделей на llama.cpp — сервер с поддержкой нескольких GPU, настройкой под железо и восстановлением после крашей. Звёздочек: 226.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Multi-GPU tensor-split для распределения по картам
  • AI Tune — автоматический подбор флагов под ваше железо
  • Авторесайзер после падений и HuggingFace интеграция
#cuda#gguf#golang#inference-server#llama-cpp#llamacpp#llm#local-llm#localllama#metal#moe#multi-gpu
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

CAPA: НАСТРОЙ СВОЙ AI-АГЕНТ ЗА 5 МИНУТ★ 284ДАТАСЕТЫ ДЛЯ AI В HOME ASSISTANT★ 284КАЙРОН - ИИ-ПЛАТФОРМА ДЛЯ ЦИФРОВЫХ АССИСТЕНТОВ★ 284MCP SERVER ДЛЯ MONGODB★ 284ОТКРЫТАЯ БАЗА СТОИМОСТИ СТРОИТЕЛЬСТВА★ 284SICO — ЦИФРОВОЙ РАБОТНИК НОВОГО ПОКОЛЕНИЯ★ 284

← ВЕСЬ КАТАЛОГ

raketenkater/ggrun — НЕ ОЛЛАМА — мнение не придерживаюсь