R_REDDYX.XYZ
AITeX★ 236⑂ 17 форковMIT

OpenMachine-ai/transformer-tricks

TRANSFORMER-TRICKS - УСКОРЕНИЕ ТРАНСФОРМЕРОВ

Набор приемов и утилит для ускорения трансформеров: оптимизация attention, квантование и кэширование вычислений.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Техники ускорения self‑attention без потери точности
  • Методы пост‑тренировочного квантования моделей
  • Готовые скрипты для профилирования и ускорения inference
#ai#arxiv#arxiv-papers#llm#llm-inference#llmops#machine-learning#python#transformer#transformer-models#transformer-pytorch
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

CODEINDEX АНАЛИЗ ЗАВИСИМОСТЕЙ★ 236TESSERA ОРГАНИЗИРУЙ ИИ-СЕССИИ★ 236LLAMA_CPP.RB РУБИ БИНДИНГИ★ 236arksim - ОБНАРУЖЬ ОШИБКИ АГЕНТОВ★ 236MEDUSA AGENT: ЛУЧШИЕ ПРАКТИКИ★ 236QUANTIFIED-SELF - ОБЪЕДИНЯЙ СПОРТ ДАННЫЕ★ 236

← ВЕСЬ КАТАЛОГ

OpenMachine-ai/transformer-tricks — Transformer-Tricks -…