AIPython★ 651⑂ 95 форковApache-2.0
raymin0223/mixture_of_recursions
СМЕШАНИЕ РЕКУРСИЙ ДЛЯ LLM
Проект Mixture-of-Recursions предлагает динамический выбор глубины рекурсии для каждого токена в трансформере, позволяя модели адаптивно распределять вычисления. Это снижает затраты KV‑кеша и ускоряет инференс без потери качества.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Динамически выбирает глубину рекурсии для каждого токена во время inference.
- Сокращает вычисления, пропуская ненужные рекурсивные слои при уверенности модели.
- Сохраняет качество, запуская ранний выход после порога уверенности.
- Интегрируется с KV‑кешем и работает с HuggingFace Transformers через стандартный API.
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram