AITeX★ 220
OpenMachine-ai/transformer-tricks
TRANSFORMER-TRICKS - УСКОРЕНИЕ ТРАНСФОРМЕРОВ
Набор приемов и утилит для ускорения трансформеров: оптимизация attention, квантование и кэширование вычислений.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Техники ускорения self‑attention без потери точности
- Методы пост‑тренировочного квантования моделей
- Готовые скрипты для профилирования и ускорения inference
#ai#arxiv#arxiv-papers#llm#llm-inference#llmops#machine-learning#python#transformer#transformer-models#transformer-pytorch
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram