AIPython★ 627
raymin0223/mixture_of_recursions
СМЕШАНИЕ РЕКУРСИЙ ДЛЯ LLM
Проект Mixture-of-Recursions предлагает динамический выбор глубины рекурсии для каждого токена в трансформере, позволяя модели адаптивно распределять вычисления. Это снижает затраты KV‑кеша и ускоряет инференс без потери качества.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Динамически выбирает глубину рекурсии для каждого токена во время inference.
- Сокращает вычисления, пропуская ненужные рекурсивные слои при уверенности модели.
- Сохраняет качество, запуская ранний выход после порога уверенности.
- Интегрируется с KV‑кешем и работает с HuggingFace Transformers через стандартный API.
#adaptive-computation#early-exiting#kv-cache#llm#recursive-transformers#router
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram