R_REDDYX.XYZ
AIRust★ 333⑂ 27 форков

Epistates/pmetal

PMETAL: УСКОРЕНИЕ LLM НА APPLE SILICON

PMetal — фреймворк на Rust для высокопроизводительного запуска LLM на Apple Silicon. Поддерживает локальный инференс fine‑tuning LoRA/QLoRA сервинг квантизацию и ускорение через MLX/Metal.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Локальный инференс LLM на Apple Silicon через MLX/Metal.
  • Fine‑tuning LoRA/QLoRA моделей прямо на устройстве.
  • Сервинг моделей через простой API с низкой латентностью.
  • Квантизация весов до 4‑bit для уменьшения размера и ускорения работы.
#ai#ane#apple-silicon#deep-learning#distillation#fine-tuning#gguf#inference-server#llm#llm-inference#llm-training#lora
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

LifeManga Creator★ 333TOKENEATER — ТРЕКИРУЙ КЛОД И КОД★ 333SAP SKILLS КОД ДЛЯ BTP★ 333КУРАТОРСКИЙ СПИСОК ВИБЕ КОДИНГ★ 333МИССИОННЫЙ ЦЕНТР ДЛЯ AI★ 333КРИПТОНОВОСТИ API БЕЗ КЛЮЧА★ 333

← ВЕСЬ КАТАЛОГ

Epistates/pmetal — Pmetal: ускорение LLM на Apple Silicon