R_REDDYX.XYZ
AIPython★ 1,287⑂ 43 форков

eagle-hq/EAGLE-4

EAGLE-4: Ускоренный вывод LLM

Официальная реализация EAGLE-4 — метода спекулятивного декодирования для ускорения генерации больших языковых моделей без потери качества.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Спекулятивное декодирование с динамическим деревом вершин
  • До 3-кратного ускорения генерации на LLaMA и Vicuna
  • Без обучения дополнительных параметров (training-free)
  • Поддержка batched inference и KV-кэша
#eagle#gpu#llm-inference#sglang#speculative-decoding#tokenspeed#vllm
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

CHUNKHOUND: ЛОКАЛЬНЫЙ ИНТЕЛЛЕКТ КОДА★ 1288AIPex: AI-АВТОМАТИЗАЦИЯ БРАУЗЕРА★ 1286SEARCH2AI - УМНЫЙ ПОИСК ДЛЯ LLM★ 1288SKILLEVALUATOR: ОЦЕНКА ИИ-АГЕНТОВ★ 1286Полношаблон приложений с ИИ★ 1289n8n-as-code — СУПЕРСИЛА ДЛЯ AI AGENT★ 1285

← ВЕСЬ КАТАЛОГ

eagle-hq/EAGLE-4 — EAGLE-4: Ускоренный вывод LLM | REDDYX AI