R_REDDYX.XYZ
AIPython★ 23,423⑂ 2,213 форковApache-2.0

mlc-ai/mlc-llm

MLC‑LLM УНИВЕРСАЛЬНЫЙ ДВИЖОК LLM

MLC‑LLM — это движок для универсального развертывания LLM с использованием ML‑компиляции TVM. Он поддерживает множество форматов моделей и оптимизирует их под любые устройства через единый API.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Компилирует LLM в эффективные библиотеки TVM для CPU, GPU и ARM за минуты.
  • Единый Python API и CLI для загрузки и запуска моделей.
  • Поддерживает квантизацию int8/float16 и динамическую батчинг для низкой латентности.
  • Экспортирует оптимизированные модели в форматы .so, .wasm и .exe для edge‑девайсов.
#language-model#llm#machine-learning-compilation#tvm
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

AKSHARE — ФИНАНСОВЫЕ ДАННЫЕ НА PYTHON★ 23341Память для агента★ 23568Ресурсы для AI-исследований★ 23220Прототип автономного ИИ-агента★ 23138AI УПРАВЛЯЕТ РАБОЧИМ СТОЛОМ НАДЁЖНО★ 23711Headless-браузер для AI-агентов★ 23747

← ВЕСЬ КАТАЛОГ

mlc-ai/mlc-llm — Mlc‑llm универсальный движок LLM