R_REDDYX.XYZ
AIPython★ 108⑂ 17 форковApache-2.0

openJiuwen-ai/agent-infer

Framework для агентного вывода

openJiuwen-ai/agent-infer — это фреймворк на базе vLLM для эффективного выполнения агентных рабочих нагрузок. Он упрощает развёртывание и масштабирование LLM‑инференса в multi‑agent сценариях.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Быстрый инференс LLM через оптимизированный bckend vLLM с поддержкой пакетной обработки.
  • Поддержка динамического orchestration агентов с совместным использованием кэша KV.
  • Потоковая генерация токенов с низкой латентностью и гибкой настройкой параметров.
  • Лёгкая интеграция с популярными фреймворками агентов (LangChain, AutoGPT, BabyAGI).
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

SheetasToken — анализ данных в таблицах★ 107Backdoor для Claude Code★ 109Калькулятор TCO для LLM★ 109AI-планировщик поездок★ 107Генератор AI контента★ 110AI-SpicyLabs генератор★ 106

← ВЕСЬ КАТАЛОГ

openJiuwen-ai/agent-infer — Framework для агентного вывода