AIRust★ 427
smg-project/smg
SMG - УНИВЕРСАЛЬНЫЙ ШЛЮЗ LLM
Engine-agnostic LLM шлюз на Rust с полной совместимостью OpenAI и Anthropic API, gRPC-пайплайном и кэшированием KV-кэша.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- gRPC-пайплайн для низкой латенси запросов
- Маршрутизация с учётом KV-кэша для эффективности
- Кеширование токенизации и истории чата, поддержка WASM плагинов
#anthropic#anthropic-api#chat#claude#gemini#inference-gateway#lightseek#llm#mcp#openai#responses-api#routing
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram