R_REDDYX.XYZ
AIGo★ 295⑂ 120 форков

luqman-v1/9router-go

9ROUTER-GO ШЛЮЗ ДЛЯ LLM МАРШРУТИЗАЦИИ

Высокопроизводительный Go-прокси для маршрутизации запросов к LLM-моделям (Claude, DeepSeek, GPT и др.). Обеспечивает 32 000 RPS при потреблении всего 42 МБ RAM и полностью свободен от CGO. Поддерживает гибкую конфигурацию правил routing и мониторинг метрик в реальном времени.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Пропускная способность до 32 000 RPS при маршрутизации запросов к LLM‑моделям.
  • Потребляет всего 42 МБ RAM благодаря CGO‑free реализации на Go.
  • Поддерживает rule‑based маршрутирование к Claude, DeepSeek, GPT и другим LLM.
  • Экспорт метрик в Prometheus и health‑checks через HTTP‑endpoint.
#9router#api-gateway#claude#deepseek#gpt#llm#openai#proxy#sqlite#sse
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

Мультиагентный трейдинг LangGraph★ 295PACKMIND - AI ДЛЯ ИНЖЕНЕРНОГО ПЛЕЙБУКА★ 295GOLEMBOT — АГЕНТ ВЕЗДЕ★ 295FABRIKT: KOTLIN ИЗ OPENAPI★ 295ВОСХИТИТЕЛЬНЫЙ RAG ПРОДАКШН★ 295JITLLM: ВЫСОКОПРОИЗВОДИТЕЛЬНЫЙ LLM НА JVM★ 295

← ВЕСЬ КАТАЛОГ

luqman-v1/9router-go — 9router-GO шлюз для LLM маршрутизации