AIGo★ 38
hadihonarvar/flock
Самостоятельный шлюз LLM
Один бинарник Go превращает ваши Mac и Linux‑машины в приватный кластер инференса с мульти‑машинным роутингом, шардингом через llama.cpp‑RPC и поддержкой API OpenAI и Anthropic.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Мульти‑машинный роутинг и шардинг через llama.cpp‑RPC
- Пер‑пользовательские API‑ключи, квоты и аудит использования
- Единый endpoint совместимый с OpenAI и Anthropic API
- Один бинарник Go, быстрая установка на macOS и Linux
#ai-gateway#aider#anthropic#claude-code#cursor#gguf#golang#inference#llama-cpp#llm#local-llm#mlx
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram