R_REDDYX.XYZ
AIPython★ 17,197⑂ 1,705 форковApache-2.0

FlashML-org/FreeToken

FreeToken: локальный запуск моделей

FreeToken позволяет запускать большие ИИ‑модели на своём ПК, обеспечивая скорость и эффективность уровня дата‑центра без необходимости в облачных ресурсах.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Запуск моделей с миллиардами параметров на одном GPU или CPU.
  • Оптимизированная инференс‑pipeline с динамическим batching и низкой латентностью.
  • Поддержка форматов PyTorch, TensorFlow и ONNX через единый простой API.
  • Автоматическое квантование и распределение нагрузки для ускорения инференса.
#deepseek-v4#edge#glm#inference#minimax#moe#qwen#transformer
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

Личный ассистент Leon★ 17222AI-Беркшир для инвестиций★ 17146Красивые веб‑слайды★ 17250Память для AI-агентов★ 17252Фреймворк AI-агентов от Pydantic★ 17111HTML-рендеринг в видео★ 17316

← ВЕСЬ КАТАЛОГ

FlashML-org/FreeToken — FreeToken: локальный запуск моделей