AIGo★ 4,328
mostlygeek/llama-swap
LLAMA-SWAP - НАДЁЖНАЯ ЗАМЕНА МОДЕЛЕЙ
Утилита для бесшовной замены моделей на локальных серверах (llama.cpp, vLLM и др.)
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Работа с llama.cpp, vLLm и др.
- Zero-downtime при смене модели
- Простая настройка совместимости
#golang#llama#llamacpp#localllama#localllm#openai#openai-api#vllm
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram