AIGo★ 2,006
theagentrouter/agent-router
ЕДИНЫЙ ШЛЮЗ ДЛЯ AI-СЕРВИСОВ
agent-router — это шлюз на Envoy Gateway, обеспечивающий единый доступ к различным генеративным AI‑сервисам. Реализован на Go, работает в Kubernetes и поддерживает стандарты CNCF для inference и API‑шлюзов.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Маршрутизация запросов к LLM‑провайдерам через Envoy Proxy.
- Автоматическое преобразование форматов запросов и ответов под каждый AI‑сервис.
- Политики безопасности: аутентификация, лимит запросов и проверка токенов.
- Экспорт метрик в Prometheus и трассировка через OpenTelemetry для наблюдаемости.
#ai#ai-gateway#api-gateway#cncf#inference#kubernetes#llm
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram