AIRust★ 322
lightseekorg/smg
SMG - УНИВЕРСАЛЬНЫЙ LLM ШЛЮЗ
SMG — engine‑agnostic LLM шлюз на Rust с полной совместимостью OpenAI и Anthropic API.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- gRPC‑pipeline с низкой_latency и высокой пропускной способностью
- KV‑кеш‑aware routing, кэширование токенов и история чата
- WASM плагины, мульти‑тенант auth и Embeddings API
#anthropic#anthropic-api#chat#claude#gemini#inference-gateway#lightseek#llm#mcp#openai#responses-api#routing
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram