R_REDDYX.XYZ
AIGo★ 38

hadihonarvar/flock

Самостоятельный шлюз LLM

Один бинарник Go превращает ваши Mac и Linux‑машины в приватный кластер инференса с мульти‑машинным роутингом, шардингом через llama.cpp‑RPC и поддержкой API OpenAI и Anthropic.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Мульти‑машинный роутинг и шардинг через llama.cpp‑RPC
  • Пер‑пользовательские API‑ключи, квоты и аудит использования
  • Единый endpoint совместимый с OpenAI и Anthropic API
  • Один бинарник Go, быстрая установка на macOS и Linux
#ai-gateway#aider#anthropic#claude-code#cursor#gguf#golang#inference#llama-cpp#llm#local-llm#mlx
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

Llama2 на ассемблере★ 38Персональный AI-агент с памятью★ 38vLLM для RTX 2080Ti★ 38Инференсный агент Tokenmaxxing★ 38Dual‑Clock Эйлер сэмплер★ 38Единая память для AI-инструментов★ 37

← ВЕСЬ КАТАЛОГ

hadihonarvar/flock — Самостоятельный шлюз LLM | REDDYX AI