AIPython★ 227⑂ 42 форковApache-2.0
InferMatrixLab/vllm-rlt
VLLM ИНФЕРЕНС: LOOPED TRANSFORMERS
vllm-rlt — движок вывода в стиле vLLM для looped transformers. Реализует планирование и выполнение на уровне циклов через композируемые стадии. 207 звёзд на GitHub.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Loop-level scheduling для looped transformers
- Composable stages для гибкого выполнения
- vLLM-inspired архитектура инференса
- Python реализация с 207 звёзд на GitHub
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram