AIPython★ 1,287⑂ 43 форков
eagle-hq/EAGLE-4
EAGLE-4: Ускоренный вывод LLM
Официальная реализация EAGLE-4 — метода спекулятивного декодирования для ускорения генерации больших языковых моделей без потери качества.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Спекулятивное декодирование с динамическим деревом вершин
- До 3-кратного ускорения генерации на LLaMA и Vicuna
- Без обучения дополнительных параметров (training-free)
- Поддержка batched inference и KV-кэша
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram