R_REDDYX.XYZ

Kv Cache: open-source проекты на GitHub

16 репозиториев по теме Kv Cache, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.

// СМЕЖНЫЕ ТЕМЫ

LLM 2064LLM Inference 76Cuda 46Vllm 62Inference 88LLM Serving 23Pytorch 91GPU 45Qwen 101Large Language Models 151Inference Engine 18Deepseek 223Quantization 29Qwen3 30
LMCache/LMCache

LMCache: Ускорение LLM

Самый быстрый слой кэширования KV для больших языковых моделей, повышающий производительность и снижающий задержки.

★ 8,292 · Python
bojieli/ai-infra-book

AI Infra: Книга по LLM

Открытая книга о量化 анализе и системном проектировании LLM inference и training, включающая полный текст, PDF и инструменты расчётов.

★ 7,748 · Python
syv-ai/HyperQwen

HyperQwen: Qwen на потребительских GPU

Проект оптимизирует запуск больших моделей Qwen на доступных GPU с помощью vLLM патчей и реквантизации. Достигает 127 ток/с на 24 ГБ.

★ 2,713 · Python
AI-Efficiency/Awesome-Model-Quantization

AWESOME MODEL QUANTIZATION RESOURCES

Кураторский список статей, бенчмарков, опросов и инструментов по квантованию нейросетей. Охватывает низкобитовые сети, LLMs, мультимодальные и генеративные модели, вектор

★ 2,469
datawhalechina/zero-to-sglang

ZERO-TO-SGLANG: ОБУЧЕНИЕ LLM ИНФЕРЕНСУ

Курс от Datawhale и SGLang教你 с нуля понять инференс LLM, собрать мини‑версию SGLang и изучить исходный код, чтобы оформить первый PR. Доступно на английском и китайском.

★ 2,136 · Python
Zefan-Cai/KVCache-Factory

KVCache-Factory: СЖАТИЕ КЭША ДЛЯ LLM

Унифицированные методы сжатия KV-кэша для авторегрессивных моделей. Экономия памяти и ускорение инференса в одном флаконе.

★ 1,394 · Python
NVIDIA/kvpress

KVPRESS: СЖАТИЕ КЭША LLM

Библиотека для лёгкого сжатия KV‑кеша LLM, ускоряющая генерацию и снижающая потребление GPU памяти.

★ 1,254 · Python
thu-nics/C2C

КЭШ-ТУ-КЭШ: ПРЯМОЙ ОБМЕН LLM

Реализация алгоритма Cache-to-Cache для прямого семантического обмена между большими языковыми моделями. Позволяет передавать KV‑кеш без десериализации, ускоряя multi‑age

★ 778 · Python
pegainfer-project/pegainfer

PEGAINFER: РАСТ + CUDA ИНФЕР

Движок LLM на чистом Rust с CUDA‑ускорением, совместимый с OpenAI API, запускает Qwen3 и Kimi‑K2 без PyTorch.

★ 742 · Rust
raymin0223/mixture_of_recursions

СМЕШАНИЕ РЕКУРСИЙ ДЛЯ LLM

Проект Mixture-of-Recursions предлагает динамический выбор глубины рекурсии для каждого токена в трансформере, позволяя модели адаптивно распределять вычисления. Это сниж

★ 651 · Python
OmniJev/Flide

FLIDE: МГНОВЕННЫЙ ИНФЕРЕНС РЕШЕНИЙ

Flide — движок вывода для моделей принятия решений с поддержкой CUDA. Обеспечивает детерминированный инференс Gemma и других моделей за микросекунды. Идеален для AI-агент

★ 501 · Python
jjiantong/Awesome-KV-Cache-Optimization

ОПТИМИЗАЦИЯ KV-CACHE ДЛЯ LLM

Обзор методов оптимизации KV-Cache для эффективного обслуживания больших языковых моделей. Системный подход к ускорению инференса.

★ 426 · Python
alibaba/tair-kvcache

TAIR-KVCACHE: УСКОРЯЕМ LLM ИНФЕРЕНС

Высокопроизводительная система кеширования KV для ускорения инференса больших языковых моделей от Alibaba Cloud.

★ 283 · C++
novitalabs/pegaflow

ПЕГАФЛОУ KV КЭШ ДЛЯ LLM

Pegaflow — высокопроизводительное хранилище KV‑кэша для инференса LLM. Поддерживает выгрузку на GPU, кэширование на SSD и обмен между узлами через RDMA. Совместимо с vLLM

★ 221 · Rust
surya-koritala/Glyd

GLYD: LOSSLESS AI COMPRESSION

Glyd снижает GPU-память на 33% без потери данных, обеспечивая бит-в-бит идентичность. Проект написан на Rust и поддерживает CUDA, C‑ABI и CLI для удобного бенчмарка.

★ 200 · Rust
huawei-csl/KVarN

KVarN: квантование KV‑кеша

KVarN — нативный бекенд квантования KV‑кеша для vLLM, увеличивающий контекст в 3‑5 раз, повышающий пропускную способность выше FP16 и сохраняющий точность FP16 без калибр

★ 159 · Python

Новые проекты по теме — в Telegram

Telegram →
Kv Cache — 16 open-source проектов на GitHub | REDDYX AI