AIRust★ 315
Epistates/pmetal
PMETAL: УСКОРЕНИЕ LLM НА APPLE SILICON
PMetal — фреймворк на Rust для высокопроизводительного запуска LLM на Apple Silicon. Поддерживает локальный инференс fine‑tuning LoRA/QLoRA сервинг квантизацию и ускорение через MLX/Metal.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Локальный инференс LLM на Apple Silicon через MLX/Metal.
- Fine‑tuning LoRA/QLoRA моделей прямо на устройстве.
- Сервинг моделей через простой API с низкой латентностью.
- Квантизация весов до 4‑bit для уменьшения размера и ускорения работы.
#ai#ane#apple-silicon#deep-learning#distillation#fine-tuning#gguf#inference-server#llm#llm-inference#llm-training#lora
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram