AIPython★ 23,423⑂ 2,213 форковApache-2.0
mlc-ai/mlc-llm
MLC‑LLM УНИВЕРСАЛЬНЫЙ ДВИЖОК LLM
MLC‑LLM — это движок для универсального развертывания LLM с использованием ML‑компиляции TVM. Он поддерживает множество форматов моделей и оптимизирует их под любые устройства через единый API.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Компилирует LLM в эффективные библиотеки TVM для CPU, GPU и ARM за минуты.
- Единый Python API и CLI для загрузки и запуска моделей.
- Поддерживает квантизацию int8/float16 и динамическую батчинг для низкой латентности.
- Экспортирует оптимизированные модели в форматы .so, .wasm и .exe для edge‑девайсов.
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram