R_REDDYX.XYZ

Speculative Decoding: open-source проекты на GitHub

21 репозиториев по теме Speculative Decoding, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.

// СМЕЖНЫЕ ТЕМЫ

Local LLM 102Qwen 101LLM 2064LLM Inference 76Cuda 46Qwen3 30Gguf 45Quantization 29Llama Cpp 49Openai API 86Vllm 62Inference Engine 18Mixture Of Experts 19Apple Silicon 53
syv-ai/HyperQwen

HyperQwen: Qwen на потребительских GPU

Проект оптимизирует запуск больших моделей Qwen на доступных GPU с помощью vLLM патчей и реквантизации. Достигает 127 ток/с на 24 ГБ.

★ 2,713 · Python
youssofal/MTPLX

МТПЛХ СУПЕРБЫСТРЫЙ ЗАПУСК

MTPLX позволяет запускать Qwen 3.8 Flash Next и Qwen 3.8 27B на Mac достигая 125 токенов/сек в OpenCode. Благодаря MTP speculative decoding на Apple Silicon результаты то

★ 2,706 · Python
incoai/splash

Локальный AI движок

Splash позволяет запускать модели машинного обучения непосредственно на Mac с Apple silicon, используя полную мощность CPU и GPU без зависимости от облака.

★ 2,284 · Python
Luce-Org/lucebox-hub

Lucebox Hub

Высокоскоростной сервер для локального запуска LLM на потребительском оборудовании. На С++ для максимальной производительности.

★ 2,167 · C++
peonist-ai/halogen-flash-server

БЫСТРЫЙ ЗАПУСК QWEN3.8 НА AMD

Проект предоставляет скрипты для мгновенного развёртывания Qwen3.8-Flash-Next на GPU AMD Strix Halo (gfx1151) через HIP. Все зависимости собираются автоматически, а infer

★ 1,349 · Shell
eagle-hq/EAGLE-4

EAGLE-4: Ускоренный вывод LLM

Официальная реализация EAGLE-4 — метода спекулятивного декодирования для ускорения генерации больших языковых моделей без потери качества.

★ 1,287 · Python
Tencent/AngelSlim

ANGELSLIM: СЖИМАЕМ МОДЕЛИ БЕЗ ПОТЕРЬ

Инструмент для сжатия моделей с фокусом на удобство и эффективность. 1257 звёзд на GitHub.

★ 1,257 · Python
synchopate/llama-modchip

ЗАПУСКАЕМ 284B LLM НА CPU БЕЗ GPU

llama-modchip запускает DeepSeek-V4-Flash 284B на чистом CPU 64GB RAM: 44.4 tok/s префилл, 9-14 tok/s генерация. 30B MoE модели до 111 tok/s. Контекст 256K, восстановлени

★ 1,234 · Python
simplexai-labs/PolyStrata

ЗАПУСТИ БОЛЬШИЕ LLM ЛОКАЛЬНО

PolyStrata позволяет запускать Qwen3.8-Flash, GLM 5.3 Flash, DeepSeek V4 и другие модели на своем ПК. Установка за один клик на Windows и Linux с поддержкой OpenAI/Anthro

★ 1,037 · C++
ARahim3/kaggle-tpu-lab

БЕСПЛАТНЫЙ TPU ДЛЯ QWEN3.8-27B

Проект kaggle-tpu-lab запускает Qwen3.8-27B (bf16) на бесплатном TPU Kaggle, предоставляя OpenAI‑совместимый API. Поддерживает контекст 262 к токенов и скорость ~130 токе

★ 801 · Python
ARahim3/mlx-dspark

MLX-DSPARK: УСКОРЕНИЕ LLM В 4X

Портативный MLX-порт DeepSeek DSpark и z‑lab DFlash для ускорения декодирования LLM на Apple Silicon до 4× без потери качества.

★ 740 · Python
prabanta-dev/janas

JANAS: БЫСТРЫЙ ИНФЕРЕНС LLM

janas запускает huge LLM (до 48 ГБ) на ноутбуке 32 ГБ, обгоняя llama.cpp в 8‑10 раз. На Qwen3-Next-80B даёт 37 ток/сек без draft и 62 ток/сек при чтении GGUF. Поддерживае

★ 712 · C
Nehanth/pooled

Пул устройств для LLM

Проект позволяет объединять вычислительные мощности браузеров пользователей для запуска больших открытых языковых моделей непосредственно в браузере, обеспечивая работу ч

★ 649 · JavaScript
AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-DFlash

QWEN3.6-27B УЛЬТИМЕЙТ ВЕРСИЯ

Полностью без цензуры, улучшенная версия Qwen3.6-27B с NVFP4 и DFlash спекулятивным декодированием.

★ 495 · Python
JakeATX/llamAmpere

LLAMAMPERE: УСКОРЕНИЕ LLM НА RTX 3090

Форк llama.cpp с оптимизацией под Ampere GPU. Даёт 110+ токенов/с на Qwen 3.8 при 100K контексте. Работает на 12 ГБ VRAM с 200K+ контекстом.

★ 380 · C++
raketenkater/ggrun

НЕ ОЛЛАМА — мнение не придерживаюсь

Auto-tuned launcher для GGUF моделей на llama.cpp — сервер с поддержкой нескольких GPU, настройкой под железо и восстановлением после крашей. Звёздочек: 226.

★ 284 · Go
chrisliu298/awesome-on-policy-distillation

КУРАТОРСКИЙ СПИСОК OPD РЕСУРСОВ

Подборка статей, фреймворков и инструментов по on‑policy distillation больших языковых моделей. Идеально для исследователей и инженеров LLM.

★ 277
Avarok-Cybersecurity/atlas

Движок инференса для кибербезопасности

Высокопроизводительный движок инференса на Rust с безопасной работой с памятью для задач кибербезопасности.

★ 240 · Rust
RustingStudio/RustingStrata

PURE-RUST ДВИЖОК ДЛЯ QWEN GGUF

RustingStrata — чисто на Rust движок вывода для Qwen GGUF (Qwen3–3.8, MoE до 770B+). Поддерживает CUDA/Vulkan, гибрид CPU+GPU, MTP спекулятивное декодирование. До 1.7x ll

★ 231 · Rust
avifenesh/memra

MEMRA - ИИ УСКОРИТЕЛЬ ДЛЯ RTX

Memra — это реализация inference LLM с нуля, оптимизированная под архитектуры RTX 5090 (sm_120a) и H100 (sm_90a) на Rust.

★ 6 · Rust
zorost/sparkduet

SparkDuet: на-demand библиотека моделей

Проект предоставляет единый OpenAI‑совместимый эндпоинт для запуска моделей DeepSeek и Qwen, обслуживает их через два vLLM‑лейна (TP=2) на кластере NVIDIA DGX Spark и под

★ 0 · Python

Новые проекты по теме — в Telegram

Telegram →
Speculative Decoding — 21 open-source проектов на GitHub | REDDYX AI