AIRust★ 1,693⑂ 98 форковApache-2.0
intentee/paddler
PADDLER - ПРОСТОЙ БАЛАНСИРОВЩИК LLM
Открытый балансировщик и платформа для сервиса LLM/VLM на Rust, работающий на CPU и GPU с минимальными зависимостями.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Поддержка CPU и GPU без сложной настройки
- Простой деплой вокруг ggml экосистемы
- Альтернатива llm-d и Docker Model Runner с меньшими частями
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram