LLM Gateway: open-source проекты на GitHub
26 репозиториев по теме LLM Gateway, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.
// СМЕЖНЫЕ ТЕМЫ
ОДИН ШЛЮЗ — 375 ИИ ПРОВАЙДЕРОВ
OmniRoute — бесплатный MIT-шлюз с одним эндпойнтом к 375 провайдерам (150+ бесплатных) и 1400+ моделям. Поддерживает Claude Code, Cursor, Copilot. Автофоллбэк по квотам и
★ 87,451 · TypeScriptЕдиный шлюз LLM
Python SDK и прокси‑сервер для вызова 100+ LLM через OpenAI‑совместимый API с учётом затрат, защиты, балансировки нагрузки и логирования.
★ 46,602 · PythonAPI-шлюз Kong
Открытый API и AI шлюз для управления трафиком, обеспечения безопасности и расширения функционала через плагины.
★ 43,377 · LuaPortkey-AI/gateway
A blazing fast AI Gateway with integrated guardrails. Route to 1,600+ LLMs, 50+ AI Guardrails with 1 fast & friendly API.
★ 11,847 · TypeScriptTYK ОТКРЫТЫЙ AI ШЛЮЗ
Tyk — open‑source шлюз для API и AI, работающий с REST, GraphQL, TCP, gRPC и MCP. Поддерживает управление трафиком, аутентификацию и масштабирование в облачных средах.
★ 10,886 · GoAI‑код без ограничений
Бесконечный бесплатный AI‑коддинг: подключай любые IDE к Claude/GPT/Gemini через 40+ провайдеров с автофоллбеком и экономией 40% токенов.
★ 9,759 · JavaScriptPLANO: ИИ-ПРОКСИ ДЛЯ АГЕНТОВ
AI-native прокси и плоскость данных для агентных приложений с оркестрацией и безопасностью.
★ 6,567 · RustШлюз для корпоративного ИИ
Самый быстрый шлюз ИИ: 50x быстрее LiteLLM, поддержка 1000+ моделей, балансировка нагрузки, кластерный режим, ограничения и накладные расходы менее 100 мкс при 5k RPS.
★ 5,089 · GoWINDSURFAPI - ПРОКСИ ДЛЯ LLM API
Прокси‑сервер, совместимый с OpenAI и Anthropic API, позволяющий легко интегрировать LLM в любые приложения.
★ 3,140 · JavaScriptAPIPARK AI‑ШЛЮЗ НОВОГО ПОКОЛЕНИЯ
APIPark — шлюз для всех моделей: единый вход, управление LLM‑запросом, балансировка нагрузки/failover. Поддерживает OpenAI, Claude, Gemini, DeepSeek и др., обеспечивая за
★ 1,826 · TypeScriptПАРИТОК-4B: СОКРАЩАЕМ ТОКЕН-РАСХОД 90%
Шлюз сжатия кода без потерь снижает токен‑расход AI‑агентов на 25% за один ход и до 90%+ в длительных сессиях. Открытая модель 4B, готов к использованию с Claude Code, Cu
★ 1,446 · PythonLLMGATEWAY: ЕДИНЫЙ API ДЛЯ ВСЕХ LLM
Управляйте запросами к разным LLM-провайдерам через один унифицированный интерфейс. 1.2K ⭐ на GitHub.
★ 1,252 · TypeScriptЛОКАЛЬНЫЙ GATEWAY CLAUDE
ThinkWatch-Lite — локальный gateway для Claude Code, Codex и других AI-клиентов. Переключает upstream-ы без редактирования клиентов, сохраняет API-ключи и блокирует вредо
★ 1,070 · TypeScriptOTARI: ШЛЮЗ ДЛЯ 40+ ПРОВАЙДЕРОВ
Самохостируемый шлюз, совместимый с OpenAI API, объединяющий более 40 провайдеров LLM с виртуальными ключами, бюджетами и аналитикой использования.
★ 930 · PythonGOMODEL: AI-GATEWAY НА GO
Лёгкий unified API-шлюз для OpenAI, Anthropic, Gemini, Groq, xAI и Ollama. Альтернатива LiteLLM с мониторингом, guardrails и трекингом стоимости.
★ 909 · GoЕДИНЫЙ ШЛЮЗ ДЛЯ ВСЕХ LLM
respan-gateway — единый эндпоинт для всех LLM-провайдеров. Поддерживает любой SDK, любую модель и инструменты. Один бинарник на Rust заменяет десятки интеграций.
★ 833 · RustNADIRCLAW: РУТИРОВКА LLM ДЛЯ ЭКОНОМИИ
Маршрутизирует запросы к дешёвым локальным моделям и premium‑LLM, экономя 40‑70% на API‑расходах.
★ 504 · PythonHIROUTE — УМНЫЙ РОУТЕР AI МОДЕЛЕЙ
Локальный роутер направляет рутину дешёвым моделям, а сложные задачи — мощным. Снижает расходы на подписки Codex и Claude Code, сохраняя качество. Написан на Rust.
★ 465 · RustБЫСТРЕЙШИЙ AI GATEWAY НА RUST
Antirion — открытый AI-шлюз в одном Rust-бинарнике. Маршрутизирует, защищает, лимитирует бюджет и наблюдает за вызовами LLM: OpenAI, Anthropic, Gemini, Bedrock. Встроенна
★ 462 · RustCCPROXY МОДЫ ДЛЯ CLAUDE CODE
ccproxy позволяет перехватывать любые запросы к Claude Code и модифицировать ответы, а также подключать собственные модели через /model
★ 360 · Python1FLOWBASE АГЕНТ-ПЛАТФОРМА НА RUST
Open-source полноценный стек для AI-агентов: шлюзы, бекенд, React-блоки, автогенерация CRUD и трассировки.
★ 293 · RustAI-GATEWAY: ЕДИНЫЙ ШЛЮЗ ДЛЯ LLM
Unified AI gateway supporting 30+ LLMs with caching, guardrails, A/B testing and cost controls. Built in Go for maximum speed and scalability.
★ 291 · GoBITROUTER - УСКОРЯЙ АГЕНТСКИЕ ПЕТЛИ
Bitrouter — открытый шлюз и роутер для LLM-агентов на Rust, оптимизирующий любые рабочие процессы и совместимый с любыми моделями.
★ 239 · RustBUSBAR: УПРАВЛЕНИЕ AI‑АГЕНТАМИ
busbar — это управляющая плоскость выполнения для AI‑агентов, которая контролирует каждый запрос к модели, вызов MCP‑инструмента, делегирование A2A и последующее действие
★ 222 · RustОТКРЫТЫЙ AI GATEWAY НА RUST
aisix — единый OpenAI-совместимый API для OpenAI, Anthropic, Gemini, Bedrock. Поддерживает роутинг, guardrails, кэширование, лимиты и наблюдаемость. 201 звезда на GitHub.
★ 220 · RustЛОКАЛЬНЫЙ ПРОКСИ LLM С КОНТРОЛЕМ РАСХОДОВ
Локальный прокси LLM измеряет стоимость каждого запуска агента и останавливает те, которые превышают бюджет. Бесплатный, с лицензией MIT, написан на TypeScript и уже собр
★ 212 · TypeScriptНовые проекты по теме — в Telegram
Telegram →