Kv Cache: open-source проекты на GitHub
16 репозиториев по теме Kv Cache, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.
// СМЕЖНЫЕ ТЕМЫ
LMCache: Ускорение LLM
Самый быстрый слой кэширования KV для больших языковых моделей, повышающий производительность и снижающий задержки.
★ 8,292 · PythonAI Infra: Книга по LLM
Открытая книга о量化 анализе и системном проектировании LLM inference и training, включающая полный текст, PDF и инструменты расчётов.
★ 7,748 · PythonHyperQwen: Qwen на потребительских GPU
Проект оптимизирует запуск больших моделей Qwen на доступных GPU с помощью vLLM патчей и реквантизации. Достигает 127 ток/с на 24 ГБ.
★ 2,713 · PythonAWESOME MODEL QUANTIZATION RESOURCES
Кураторский список статей, бенчмарков, опросов и инструментов по квантованию нейросетей. Охватывает низкобитовые сети, LLMs, мультимодальные и генеративные модели, вектор
★ 2,469ZERO-TO-SGLANG: ОБУЧЕНИЕ LLM ИНФЕРЕНСУ
Курс от Datawhale и SGLang教你 с нуля понять инференс LLM, собрать мини‑версию SGLang и изучить исходный код, чтобы оформить первый PR. Доступно на английском и китайском.
★ 2,136 · PythonKVCache-Factory: СЖАТИЕ КЭША ДЛЯ LLM
Унифицированные методы сжатия KV-кэша для авторегрессивных моделей. Экономия памяти и ускорение инференса в одном флаконе.
★ 1,394 · PythonKVPRESS: СЖАТИЕ КЭША LLM
Библиотека для лёгкого сжатия KV‑кеша LLM, ускоряющая генерацию и снижающая потребление GPU памяти.
★ 1,254 · PythonКЭШ-ТУ-КЭШ: ПРЯМОЙ ОБМЕН LLM
Реализация алгоритма Cache-to-Cache для прямого семантического обмена между большими языковыми моделями. Позволяет передавать KV‑кеш без десериализации, ускоряя multi‑age
★ 778 · PythonPEGAINFER: РАСТ + CUDA ИНФЕР
Движок LLM на чистом Rust с CUDA‑ускорением, совместимый с OpenAI API, запускает Qwen3 и Kimi‑K2 без PyTorch.
★ 742 · RustСМЕШАНИЕ РЕКУРСИЙ ДЛЯ LLM
Проект Mixture-of-Recursions предлагает динамический выбор глубины рекурсии для каждого токена в трансформере, позволяя модели адаптивно распределять вычисления. Это сниж
★ 651 · PythonFLIDE: МГНОВЕННЫЙ ИНФЕРЕНС РЕШЕНИЙ
Flide — движок вывода для моделей принятия решений с поддержкой CUDA. Обеспечивает детерминированный инференс Gemma и других моделей за микросекунды. Идеален для AI-агент
★ 501 · PythonОПТИМИЗАЦИЯ KV-CACHE ДЛЯ LLM
Обзор методов оптимизации KV-Cache для эффективного обслуживания больших языковых моделей. Системный подход к ускорению инференса.
★ 426 · PythonTAIR-KVCACHE: УСКОРЯЕМ LLM ИНФЕРЕНС
Высокопроизводительная система кеширования KV для ускорения инференса больших языковых моделей от Alibaba Cloud.
★ 283 · C++ПЕГАФЛОУ KV КЭШ ДЛЯ LLM
Pegaflow — высокопроизводительное хранилище KV‑кэша для инференса LLM. Поддерживает выгрузку на GPU, кэширование на SSD и обмен между узлами через RDMA. Совместимо с vLLM
★ 221 · RustGLYD: LOSSLESS AI COMPRESSION
Glyd снижает GPU-память на 33% без потери данных, обеспечивая бит-в-бит идентичность. Проект написан на Rust и поддерживает CUDA, C‑ABI и CLI для удобного бенчмарка.
★ 200 · RustKVarN: квантование KV‑кеша
KVarN — нативный бекенд квантования KV‑кеша для vLLM, увеличивающий контекст в 3‑5 раз, повышающий пропускную способность выше FP16 и сохраняющий точность FP16 без калибр
★ 159 · PythonНовые проекты по теме — в Telegram
Telegram →