AIGo★ 295⑂ 120 форков
luqman-v1/9router-go
9ROUTER-GO ШЛЮЗ ДЛЯ LLM МАРШРУТИЗАЦИИ
Высокопроизводительный Go-прокси для маршрутизации запросов к LLM-моделям (Claude, DeepSeek, GPT и др.). Обеспечивает 32 000 RPS при потреблении всего 42 МБ RAM и полностью свободен от CGO. Поддерживает гибкую конфигурацию правил routing и мониторинг метрик в реальном времени.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Пропускная способность до 32 000 RPS при маршрутизации запросов к LLM‑моделям.
- Потребляет всего 42 МБ RAM благодаря CGO‑free реализации на Go.
- Поддерживает rule‑based маршрутирование к Claude, DeepSeek, GPT и другим LLM.
- Экспорт метрик в Prometheus и health‑checks через HTTP‑endpoint.
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram