R_REDDYX.XYZ
AIPython★ 8,246

bitsandbytes-foundation/bitsandbytes

BITSANDBYTES: КОМПРЕССИЯ LLM НА PYTORCH

Библиотека для квантования больших языковых моделей до k‑бит, позволяющая запускать LLM на обычном железе через PyTorch.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Квантование до 4‑бит без потери качества
  • Поддержка PyTorch и HuggingFace Transformers
  • Автоматическое смешивание точности для ускорения инференса
#llm#machine-learning#pytorch#qlora#quantization
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

Редактор MobileGestalt для iOS★ 8248VIBE КОД С PI В IDE★ 8259MLX-AUDIO: РЕЧЬ НА APPLE SILICON★ 8267GPTCache: СЕМАНТИЧНЫЙ КЭШ ДЛЯ LLM★ 8224Трюки для Claude Code★ 8210GITHUB COPILOT В XCODE НАТИВНО★ 8204

← ВЕСЬ КАТАЛОГ

bitsandbytes-foundation/bitsandbytes — Bitsandbytes:…