R_REDDYX.XYZ
AIRust★ 723⑂ 223 форковApache-2.0

smg-project/smg

SMG - УНИВЕРСАЛЬНЫЙ ШЛЮЗ LLM

Engine-agnostic LLM шлюз на Rust с полной совместимостью OpenAI и Anthropic API, gRPC-пайплайном и кэшированием KV-кэша.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • gRPC-пайплайн для низкой латенси запросов
  • Маршрутизация с учётом KV-кэша для эффективности
  • Кеширование токенизации и истории чата, поддержка WASM плагинов
#anthropic#anthropic-api#chat#claude#gemini#inference-gateway#lightseek#llm#mcp#openai#responses-api#routing
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

YUTU - АВТОМАТИЗИРУЙ РОСТ КАНАЛА★ 723AI УБЛОК: БЛОКИРУЙ ИСКУССТВЕННЫЙ ВЕБ★ 723CODEXIA АГЕНТ ДЛЯ КОДА★ 722СЕНТИЕНТ ВАШ AI АССИСТЕНТ★ 722AI Data Hub для бизнеса★ 724AGEHTLHW KOTOPLPEHHbIE★ 725

← ВЕСЬ КАТАЛОГ

smg-project/smg — Smg - универсальный шлюз LLM | REDDYX AI