AIRust★ 1,639
intentee/paddler
PADDLER - ПРОСТОЙ БАЛАНСИРОВЩИК LLM
Открытый балансировщик и платформа для сервиса LLM/VLM на Rust, работающий на CPU и GPU с минимальными зависимостями.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Поддержка CPU и GPU без сложной настройки
- Простой деплой вокруг ggml экосистемы
- Альтернатива llm-d и Docker Model Runner с меньшими частями
#ai#llamacpp#llm#llmops#load-balancer
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram