R_REDDYX.XYZ
AIPython★ 227⑂ 42 форковApache-2.0

InferMatrixLab/vllm-rlt

VLLM ИНФЕРЕНС: LOOPED TRANSFORMERS

vllm-rlt — движок вывода в стиле vLLM для looped transformers. Реализует планирование и выполнение на уровне циклов через композируемые стадии. 207 звёзд на GitHub.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Loop-level scheduling для looped transformers
  • Composable stages для гибкого выполнения
  • vLLM-inspired архитектура инференса
  • Python реализация с 207 звёзд на GitHub
#inference-engine#llm#transformer
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

Эволюционирующий AI-агент★ 227SEМIA: АУДИТ БЕЗОПАСНОСТИ AI-АГЕНТОВ★ 227AGHUB ДЛЯ ВСЕХ AI-АГЕНТОВ КОДИРОВАНИЯ★ 227RESEARCHERSKILL — ФОНТАН ГОЛОВОК★ 227KILN: МУЛЬТИМОДЕЛЬ AI ОРКЕСТРАЦИЯ★ 227CODEKANBAN: УПРАВЛЕНИЕ ТЕРМИНАЛАМИ★ 227

← ВЕСЬ КАТАЛОГ

InferMatrixLab/vllm-rlt — Vllm инференс: Looped Transformers