Speculative Decoding: open-source проекты на GitHub
21 репозиториев по теме Speculative Decoding, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.
// СМЕЖНЫЕ ТЕМЫ
HyperQwen: Qwen на потребительских GPU
Проект оптимизирует запуск больших моделей Qwen на доступных GPU с помощью vLLM патчей и реквантизации. Достигает 127 ток/с на 24 ГБ.
★ 2,713 · PythonМТПЛХ СУПЕРБЫСТРЫЙ ЗАПУСК
MTPLX позволяет запускать Qwen 3.8 Flash Next и Qwen 3.8 27B на Mac достигая 125 токенов/сек в OpenCode. Благодаря MTP speculative decoding на Apple Silicon результаты то
★ 2,706 · PythonЛокальный AI движок
Splash позволяет запускать модели машинного обучения непосредственно на Mac с Apple silicon, используя полную мощность CPU и GPU без зависимости от облака.
★ 2,284 · PythonLucebox Hub
Высокоскоростной сервер для локального запуска LLM на потребительском оборудовании. На С++ для максимальной производительности.
★ 2,167 · C++БЫСТРЫЙ ЗАПУСК QWEN3.8 НА AMD
Проект предоставляет скрипты для мгновенного развёртывания Qwen3.8-Flash-Next на GPU AMD Strix Halo (gfx1151) через HIP. Все зависимости собираются автоматически, а infer
★ 1,349 · ShellEAGLE-4: Ускоренный вывод LLM
Официальная реализация EAGLE-4 — метода спекулятивного декодирования для ускорения генерации больших языковых моделей без потери качества.
★ 1,287 · PythonANGELSLIM: СЖИМАЕМ МОДЕЛИ БЕЗ ПОТЕРЬ
Инструмент для сжатия моделей с фокусом на удобство и эффективность. 1257 звёзд на GitHub.
★ 1,257 · PythonЗАПУСКАЕМ 284B LLM НА CPU БЕЗ GPU
llama-modchip запускает DeepSeek-V4-Flash 284B на чистом CPU 64GB RAM: 44.4 tok/s префилл, 9-14 tok/s генерация. 30B MoE модели до 111 tok/s. Контекст 256K, восстановлени
★ 1,234 · PythonЗАПУСТИ БОЛЬШИЕ LLM ЛОКАЛЬНО
PolyStrata позволяет запускать Qwen3.8-Flash, GLM 5.3 Flash, DeepSeek V4 и другие модели на своем ПК. Установка за один клик на Windows и Linux с поддержкой OpenAI/Anthro
★ 1,037 · C++БЕСПЛАТНЫЙ TPU ДЛЯ QWEN3.8-27B
Проект kaggle-tpu-lab запускает Qwen3.8-27B (bf16) на бесплатном TPU Kaggle, предоставляя OpenAI‑совместимый API. Поддерживает контекст 262 к токенов и скорость ~130 токе
★ 801 · PythonMLX-DSPARK: УСКОРЕНИЕ LLM В 4X
Портативный MLX-порт DeepSeek DSpark и z‑lab DFlash для ускорения декодирования LLM на Apple Silicon до 4× без потери качества.
★ 740 · PythonJANAS: БЫСТРЫЙ ИНФЕРЕНС LLM
janas запускает huge LLM (до 48 ГБ) на ноутбуке 32 ГБ, обгоняя llama.cpp в 8‑10 раз. На Qwen3-Next-80B даёт 37 ток/сек без draft и 62 ток/сек при чтении GGUF. Поддерживае
★ 712 · CПул устройств для LLM
Проект позволяет объединять вычислительные мощности браузеров пользователей для запуска больших открытых языковых моделей непосредственно в браузере, обеспечивая работу ч
★ 649 · JavaScriptQWEN3.6-27B УЛЬТИМЕЙТ ВЕРСИЯ
Полностью без цензуры, улучшенная версия Qwen3.6-27B с NVFP4 и DFlash спекулятивным декодированием.
★ 495 · PythonLLAMAMPERE: УСКОРЕНИЕ LLM НА RTX 3090
Форк llama.cpp с оптимизацией под Ampere GPU. Даёт 110+ токенов/с на Qwen 3.8 при 100K контексте. Работает на 12 ГБ VRAM с 200K+ контекстом.
★ 380 · C++НЕ ОЛЛАМА — мнение не придерживаюсь
Auto-tuned launcher для GGUF моделей на llama.cpp — сервер с поддержкой нескольких GPU, настройкой под железо и восстановлением после крашей. Звёздочек: 226.
★ 284 · GoКУРАТОРСКИЙ СПИСОК OPD РЕСУРСОВ
Подборка статей, фреймворков и инструментов по on‑policy distillation больших языковых моделей. Идеально для исследователей и инженеров LLM.
★ 277Движок инференса для кибербезопасности
Высокопроизводительный движок инференса на Rust с безопасной работой с памятью для задач кибербезопасности.
★ 240 · RustPURE-RUST ДВИЖОК ДЛЯ QWEN GGUF
RustingStrata — чисто на Rust движок вывода для Qwen GGUF (Qwen3–3.8, MoE до 770B+). Поддерживает CUDA/Vulkan, гибрид CPU+GPU, MTP спекулятивное декодирование. До 1.7x ll
★ 231 · RustMEMRA - ИИ УСКОРИТЕЛЬ ДЛЯ RTX
Memra — это реализация inference LLM с нуля, оптимизированная под архитектуры RTX 5090 (sm_120a) и H100 (sm_90a) на Rust.
★ 6 · RustSparkDuet: на-demand библиотека моделей
Проект предоставляет единый OpenAI‑совместимый эндпоинт для запуска моделей DeepSeek и Qwen, обслуживает их через два vLLM‑лейна (TP=2) на кластере NVIDIA DGX Spark и под
★ 0 · PythonНовые проекты по теме — в Telegram
Telegram →