vllm-project/vllm-metal

vllm-metal — это сообщество‑поддерживаемый плагин аппаратного ускорения для vLLM на процессорах Apple Silicon. Использует фреймворк Metal и MLX для эффективного выполнения больших языковых моделей на Mac. Позволяет запускать LLM с низкой задержкой и высокой пропускной способностью без CUDA.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

• Поддерживает аппаратное ускорение через Metal на Apple Silicon (M1/M2/M3).
• Интегрируется с vLLM как плагин, заменяя бэкенд CUDA на MLX.
• Обеспечивает низкую латентность инференса LLM на macOS без внешних драйверов.
• Поддерживает квантование и динамическую batch‑обработку для повышения throughput.

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.