AIPython★ 2,172⑂ 499 форковApache-2.0
ashhart/TensorFold
TENSORFOLD: БЫСТРОЕ ДЕКОДИРОВАНИЕ LLM
TensorFold обеспечивает точное и быстрое декодирование LLM на Apple Silicon через MLX, предоставляя API, совместимый с OpenAI. Проект на Python уже собрал 526 звёзд и поддерживает вывод моделей без approximations.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Точное декодирование LLM на Apple Silicon через MLX без потери точности.
- OpenAI‑совместимый HTTP‑endpoint для вызова моделей через стандартный API.
- Работает на Python с MLX: низкое потребление памяти и высокая скорость на M1/M2.
- Поддерживает загрузку моделей из HuggingFace и быстрое инференс без конвертации.
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram