AIPython★ 108⑂ 17 форковApache-2.0
openJiuwen-ai/agent-infer
Framework для агентного вывода
openJiuwen-ai/agent-infer — это фреймворк на базе vLLM для эффективного выполнения агентных рабочих нагрузок. Он упрощает развёртывание и масштабирование LLM‑инференса в multi‑agent сценариях.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Быстрый инференс LLM через оптимизированный bckend vLLM с поддержкой пакетной обработки.
- Поддержка динамического orchestration агентов с совместным использованием кэша KV.
- Потоковая генерация токенов с низкой латентностью и гибкой настройкой параметров.
- Лёгкая интеграция с популярными фреймворками агентов (LangChain, AutoGPT, BabyAGI).
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram