R_REDDYX.XYZ

Quantization: open-source проекты на GitHub

29 репозиториев по теме Quantization, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.

// СМЕЖНЫЕ ТЕМЫ

LLM 2064LLM Inference 76Local LLM 102Gguf 45Fine Tuning 48Moe 23Deep Learning 101Qwen 101Mixture Of Experts 19Speculative Decoding 21Lora 50Transformers 49Cuda 46Qwen3 30
hiyouga/LlamaFactory

Унифицированная настройка LLM

Библиотека для эффективного дообучения более 100 языковых и vision‑моделей, представленная на ACL 2024.

★ 71,186 · Python
SYSTRAN/faster-whisper

БЫСТРАЯ ТРАНСКРИБЦИЯ РЕЧИ

Faster Whisper — ускоренная версия модели Whisper для распознавания речи, построенная на CTranslate2. Поддерживает量化 модели и обеспечивает реальное‑временное транскрибиро

★ 26,758 · Python
FareedKhan-dev/kimi-k3-in-c

KIMI K3: 2.78 ТРЛН ПАРАМЕТРОВ

Запуск модели Kimi K3 с 2,78 трлн параметров на одном CPU, используя всего 8,24 ГБ RAM без BLAS, фреймворков и GPU.

★ 12,109 · C
bitsandbytes-foundation/bitsandbytes

BITSANDBYTES: КОМПРЕССИЯ LLM НА PYTORCH

Библиотека для квантования больших языковых моделей до k‑бит, позволяющая запускать LLM на обычном железе через PyTorch.

★ 8,246 · Python
mw00/project-maya

PROJECT MAYA: ЛОКАЛЬНЫЙ ЗАПУСК LLM

Project Maya позволяет запускать GLM-5.3-Flash (321B MoE) локально на одном или до 16 GPU, поддерживая NVIDIA и AMD под Linux и Windows. В комплекте — движок, сервер, даш

★ 2,898 · C++
syv-ai/HyperQwen

HyperQwen: Qwen на потребительских GPU

Проект оптимизирует запуск больших моделей Qwen на доступных GPU с помощью vLLM патчей и реквантизации. Достигает 127 ток/с на 24 ГБ.

★ 2,713 · Python
stochasticai/xTuring

XTRUING: ПЕРСОНАЛИЗУЙ LLM

xTuring упрощает создание и персонализацию собственных LLM: от подготовки данных до fine‑tuning. Инструмент поддерживает адаптеры, готовые пайплайны и экспорт моделей. Пр

★ 2,681 · Python
RightNow-AI/picolm

TinyML LLM для дешевых плат

Запуск языковой модели с 1 млрд параметров на устройстве за $10 с 256 МБ RAM на языке C.

★ 1,614 · C
amitshekhariitbhu/ai-engineering-interview-questions

Шпаргалка по интервью AI

Сборник вопросов и ответов для подготовки к интервью на позицию AI-инженера. Включает темы машинного обучения, глубокого обучения и системного дизайна.

★ 1,523 · Markdown
Tencent/AngelSlim

ANGELSLIM: СЖИМАЕМ МОДЕЛИ БЕЗ ПОТЕРЬ

Инструмент для сжатия моделей с фокусом на удобство и эффективность. 1257 звёзд на GitHub.

★ 1,257 · Python
synchopate/llama-modchip

ЗАПУСКАЕМ 284B LLM НА CPU БЕЗ GPU

llama-modchip запускает DeepSeek-V4-Flash 284B на чистом CPU 64GB RAM: 44.4 tok/s префилл, 9-14 tok/s генерация. 30B MoE модели до 111 tok/s. Контекст 256K, восстановлени

★ 1,234 · Python
openvinotoolkit/nncf

NNCFF - УСКОРЯЕМ ИНФЕРЕНС МОДЕЛЕЙ

NNCFF — фреймворк сжатия нейросетей для ускоренного inference в OpenVINO™. Сокращает размер модели, сохраняя точность.

★ 1,221 · Python
whitecircle/halo

HALO: ФРЕЙМВОРК ОБУЧЕНИЯ LLM

Halo — открытый фреймворк от White Circle для обучения больших языковых и мультимодальных моделей. Поддерживает агентное обучение, async-RL, распределённое обучение и fin

★ 862 · Python
prabanta-dev/janas

JANAS: БЫСТРЫЙ ИНФЕРЕНС LLM

janas запускает huge LLM (до 48 ГБ) на ноутбуке 32 ГБ, обгоняя llama.cpp в 8‑10 раз. На Qwen3-Next-80B даёт 37 ток/сек без draft и 62 ток/сек при чтении GGUF. Поддерживае

★ 712 · C
hyperionaidev/smolmaxxing

SMOLMAXXING: LLM НА МИКРОКОНТРОЛЛЕРАХ

Библиотека на C для запуска LLM на микроконтроллерах и слабом железе. Альтернатива llama.cpp с фокусом на минимальный расход памяти. Поддерживает квантование и разные арх

★ 691 · C
RyanCodrai/turbovec

TurboVec: Векторный индекс на Rust

Высокопроизводительный векторный индекс на базе TurboQuant с привязками к Python для быстрого поиска ближайших соседей.

★ 599 · Rust
Indras-Mirror/Xolotl

ЗАПУСК DEEPSEEK-V4.1 552B НА ОДНОМ ПК

Xolotl — движок для запуска крупных MoE-моделей (DeepSeek-V4.1-Flash 552B, GLM-5.3-Flash, Qwen3.8, LFM3-Omni) на одном ПК с RTX 4090. Обеспечивает 33 ток/с на агентских з

★ 534 · C++
AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-DFlash

QWEN3.6-27B УЛЬТИМЕЙТ ВЕРСИЯ

Полностью без цензуры, улучшенная версия Qwen3.6-27B с NVFP4 и DFlash спекулятивным декодированием.

★ 495 · Python
david-xinyuwei/david-share

AI АГЕНТЫ НА AZURE И GPU

Репозиторий с кодом, бенчмарками и гайдами по AI-агентам и Deep Learning. Развёртывание на Microsoft Foundry и Azure, фаин-тюнинг, оптимизация инференса и GPU-тесты на NV

★ 451 · Jupyter Notebook
FujitsuResearch/OneCompression

ONECOMPRESSION: СЖАТИЕ LLM БЕЗ ПОТЕРИ

Python‑пакет OneCompression упрощает сжатие больших языковых моделей, сохраняя точность и ускоряя работу.

★ 445 · Python
JakeATX/llamAmpere

LLAMAMPERE: УСКОРЕНИЕ LLM НА RTX 3090

Форк llama.cpp с оптимизацией под Ampere GPU. Даёт 110+ токенов/с на Qwen 3.8 при 100K контексте. Работает на 12 ГБ VRAM с 200K+ контекстом.

★ 380 · C++
Epistates/pmetal

PMETAL: УСКОРЕНИЕ LLM НА APPLE SILICON

PMetal — фреймворк на Rust для высокопроизводительного запуска LLM на Apple Silicon. Поддерживает локальный инференс fine‑tuning LoRA/QLoRA сервинг квантизацию и ускорени

★ 333 · Rust
Picovoice/picollm

PICOLLM - ОФЛАЙН LLM НА УСТРОЙСТВЕ

picollm позволяет выполнять LLM на устройстве благодаря экстремальной k‑битной квантизации, обеспечивая быстрый и приватный вывод без облака.

★ 320 · Python
qdrant/skills

QDRANT AGENT: НАВЫКИ ВЕКТОРНОГО ПОИСКА

Набор навыков для оптимизации поиска в Qdrant: масштабирование, качество, мониторинг и SDK на Python, TS, Rust и др.

★ 270 · Python
giannisanni/pulsar

PULSAR — УЛЬТРАБЫСТРЫЙ ИНФЕРЕНС MOE

Pulsar — SSD‑стриминговый движок для гигантских MoE‑моделей на Rust+CUDA.

★ 238 · Rust
jjang-ai/jangq

JANGQ — КВАНТОВАНИЕ ДЛЯ APPLE SILICON

JANG — адаптивное смешанно‑точное квантование моделей GGUF для MLX на Apple Silicon. Требует использование runtime JANG_Q для максимальной производительности.

★ 233 · Python
timtoole02/Camelid

CAMELID: ЛОКАЛЬНЫЙ ИИ НА RUST

Camelid — бэкенд для локального вывода на Rust, совместимый с моделями через доказательную совместимость. Поддерживает Apple Silicon, GGUF, Llama и другие LLM, работает п

★ 221 · Rust
huawei-csl/KVarN

KVarN: квантование KV‑кеша

KVarN — нативный бекенд квантования KV‑кеша для vLLM, увеличивающий контекст в 3‑5 раз, повышающий пропускную способность выше FP16 и сохраняющий точность FP16 без калибр

★ 159 · Python
Greninja9257/LabLLM

LabLLM на macOS

LabLLM – это нативное приложение для macOS, где вы можете собрать архитектуру tiny language model, обучить её веса и увидеть, как модель возникает с нуля на Apple Silicon

★ 39 · Swift

Новые проекты по теме — в Telegram

Telegram →
Quantization — 29 open-source проектов на GitHub | REDDYX AI