AITypeScript★ 53
LiteLLM-Labs/litellm-rust
Минимальный шлюз LiteLLM на Rust
Лёгкий шлюз на Rust, совместимый с LiteLLM, предназначен для интеграции с coding agents. Обеспечивает быстрый доступ к LLM через стандартный API.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Поддерживает все основные эндпоинты LiteLLM (chat, completions, embeddings)
- Потоковая передача ответов в реальном времени для интерактивных агентов
- Минимальная зависимость и низкое потребление памяти благодаря Rust
- Простое развертывание через Docker или как отдельный бинарник
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram