TheStageAI/edge-lm

Проект предоставляет tiny языковые модели, специально сжатые и ускоренные для работы на устройствах с ограниченными ресурсами (edge). Поддерживает инференс на CPU и мобильных чипах с минимальной задержкой.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

• Квантование до 4‑бит и pruning: размер модели ↓8× при минимальной потере качества.
• Поддержка быстрого инференса на ARM‑Cortex‑A, Raspberry Pi и Jetson Nano через TensorRT‑Lite.
• Автоматическое преобразование моделей из HuggingFace в ONNX/TFLite одной CLI‑командой.

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.