AIPython★ 17,197⑂ 1,705 форковApache-2.0
FlashML-org/FreeToken
FreeToken: локальный запуск моделей
FreeToken позволяет запускать большие ИИ‑модели на своём ПК, обеспечивая скорость и эффективность уровня дата‑центра без необходимости в облачных ресурсах.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Запуск моделей с миллиардами параметров на одном GPU или CPU.
- Оптимизированная инференс‑pipeline с динамическим batching и низкой латентностью.
- Поддержка форматов PyTorch, TensorFlow и ONNX через единый простой API.
- Автоматическое квантование и распределение нагрузки для ускорения инференса.
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram