R_REDDYX.XYZ
AIRust★ 1,693⑂ 98 форковApache-2.0

intentee/paddler

PADDLER - ПРОСТОЙ БАЛАНСИРОВЩИК LLM

Открытый балансировщик и платформа для сервиса LLM/VLM на Rust, работающий на CPU и GPU с минимальными зависимостями.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Поддержка CPU и GPU без сложной настройки
  • Простой деплой вокруг ggml экосистемы
  • Альтернатива llm-d и Docker Model Runner с меньшими частями
#ai#llamacpp#llm#llmops#load-balancer
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

img2obj: плагин Codex★ 1693ТЕРРАВИЗИОН: ОБЛАЧНЫЕ ДИАГРАММЫ ИЗ КОДА★ 1691МАЙЛЧИП ДОСТУПНАЯ РАССЫЛКА ДЛЯ АГЕНТОВ★ 1690Подборка трюков Claude Code★ 1698Papermorph: AI-книги в веб★ 1687ИНСТРУМЕНТЫ ДЛЯ МЕДИЦИНСКОГО AI★ 1699

← ВЕСЬ КАТАЛОГ

intentee/paddler — Paddler - простой балансировщик LLM