R_REDDYX.XYZ
AIPython★ 651⑂ 95 форковApache-2.0

raymin0223/mixture_of_recursions

СМЕШАНИЕ РЕКУРСИЙ ДЛЯ LLM

Проект Mixture-of-Recursions предлагает динамический выбор глубины рекурсии для каждого токена в трансформере, позволяя модели адаптивно распределять вычисления. Это снижает затраты KV‑кеша и ускоряет инференс без потери качества.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Динамически выбирает глубину рекурсии для каждого токена во время inference.
  • Сокращает вычисления, пропуская ненужные рекурсивные слои при уверенности модели.
  • Сохраняет качество, запуская ранний выход после порога уверенности.
  • Интегрируется с KV‑кешем и работает с HuggingFace Transformers через стандартный API.
#adaptive-computation#early-exiting#kv-cache#llm#recursive-transformers#router
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

ТРИ AI-АГЕНТА ОДНОВРЕМЕННО В GIT★ 651Бионическая память для ИИ★ 652WhatsApp Business API С ОТКРЫТЫМ КОДОМ★ 652PROXMOXMCP-PLUS - УПРАВЛЯЙ PROXMOX С ИИ★ 650CASBIN-GATEWAY - ЗАЩИТА API С ИИ★ 650ОТКРЫТАЯ АНАЛИТИКА ВЕБ САЙТОВ★ 652

← ВЕСЬ КАТАЛОГ

raymin0223/mixture_of_recursions — Смешание рекурсий для LLM