0xSero/turboquant

Квантизация KV-кэша с использованием Triton ядер и интеграцией vLLM: 3-битные ключи и 2-битные значения для эффективной работы больших языковых моделей.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

• 3-битные ключи и 2-битные значения
• Оптимизация через Triton ядра
• Интеграция с vLLM

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.