R_REDDYX.XYZ
AIPython★ 1,370

0xSero/turboquant

Квантизация KV-кэша для LLM

Квантизация KV-кэша с использованием Triton ядер и интеграцией vLLM: 3-битные ключи и 2-битные значения для эффективной работы больших языковых моделей.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • 3-битные ключи и 2-битные значения
  • Оптимизация через Triton ядра
  • Интеграция с vLLM
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

awesome-deepseek-harness - УСКОРЯЕМ РАБОТУ С DEEPSEEK★ 1370ЛАБОРИЯ ОБРАТНОЙ ИНЖЕРИИ★ 1371meta-ads-mcp - МЕТА РЕКЛАМЫ ДЛЯ ИИ★ 1369ВИДЕНИЕ И ЯЗЫК: ТОП МОДЕЛЕЙ★ 1368Grandet — поиск дешёвых API★ 1372БЕЗОПАСНОСТЬ КОДА С ИИ★ 1373

← ВЕСЬ КАТАЛОГ

0xSero/turboquant — Квантизация KV-кэша для LLM | REDDYX AI