AIPython★ 953⑂ 27 форковApache-2.0
mode-io/vllm-jev
Нативная интеграция vLLM для Jev моделей
Библиотека для высокопроизводительного сервирования Jev decision models через vLLM с поддержкой батчинга, квантования и OpenAI-совместимого API.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Нативная поддержка Jev архитектуры в vLLM
- OpenAI-совместимый API для decision models
- PagedAttention и continuous batching
- Квантование AWQ/GPTQ для ускорения
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram