AIPython★ 8,246
bitsandbytes-foundation/bitsandbytes
BITSANDBYTES: КОМПРЕССИЯ LLM НА PYTORCH
Библиотека для квантования больших языковых моделей до k‑бит, позволяющая запускать LLM на обычном железе через PyTorch.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Квантование до 4‑бит без потери качества
- Поддержка PyTorch и HuggingFace Transformers
- Автоматическое смешивание точности для ускорения инференса
#llm#machine-learning#pytorch#qlora#quantization
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram