R_REDDYX.XYZ
AIPython★ 2,172⑂ 499 форковApache-2.0

ashhart/TensorFold

TENSORFOLD: БЫСТРОЕ ДЕКОДИРОВАНИЕ LLM

TensorFold обеспечивает точное и быстрое декодирование LLM на Apple Silicon через MLX, предоставляя API, совместимый с OpenAI. Проект на Python уже собрал 526 звёзд и поддерживает вывод моделей без approximations.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Точное декодирование LLM на Apple Silicon через MLX без потери точности.
  • OpenAI‑совместимый HTTP‑endpoint для вызова моделей через стандартный API.
  • Работает на Python с MLX: низкое потребление памяти и высокая скорость на M1/M2.
  • Поддерживает загрузку моделей из HuggingFace и быстрое инференс без конвертации.
#ai#ai-tools#llm#llm-inference#llm-tools
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

AI-воркбенч для реверс-инжиниринга★ 2172WAKU-AGENT — ЛИЧНЫЙ AI АГЕНТ★ 2173ЕЖЕДНЕВНЫЙ RADAR AI‑ТЕРМИНОВ★ 2173MiroFish: офлайн мультиагентный движок★ 2170Безопасное хранилище ключей★ 2170ZEROSHOT - АВТОНОМНАЯ КОМАНДА РАЗРАБОТЧИКОВ★ 2174

← ВЕСЬ КАТАЛОГ

ashhart/TensorFold — Tensorfold: быстрое декодирование LLM