Quantization: open-source проекты на GitHub
29 репозиториев по теме Quantization, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.
// СМЕЖНЫЕ ТЕМЫ
Унифицированная настройка LLM
Библиотека для эффективного дообучения более 100 языковых и vision‑моделей, представленная на ACL 2024.
★ 71,186 · PythonБЫСТРАЯ ТРАНСКРИБЦИЯ РЕЧИ
Faster Whisper — ускоренная версия модели Whisper для распознавания речи, построенная на CTranslate2. Поддерживает量化 модели и обеспечивает реальное‑временное транскрибиро
★ 26,758 · PythonKIMI K3: 2.78 ТРЛН ПАРАМЕТРОВ
Запуск модели Kimi K3 с 2,78 трлн параметров на одном CPU, используя всего 8,24 ГБ RAM без BLAS, фреймворков и GPU.
★ 12,109 · CBITSANDBYTES: КОМПРЕССИЯ LLM НА PYTORCH
Библиотека для квантования больших языковых моделей до k‑бит, позволяющая запускать LLM на обычном железе через PyTorch.
★ 8,246 · PythonPROJECT MAYA: ЛОКАЛЬНЫЙ ЗАПУСК LLM
Project Maya позволяет запускать GLM-5.3-Flash (321B MoE) локально на одном или до 16 GPU, поддерживая NVIDIA и AMD под Linux и Windows. В комплекте — движок, сервер, даш
★ 2,898 · C++HyperQwen: Qwen на потребительских GPU
Проект оптимизирует запуск больших моделей Qwen на доступных GPU с помощью vLLM патчей и реквантизации. Достигает 127 ток/с на 24 ГБ.
★ 2,713 · PythonXTRUING: ПЕРСОНАЛИЗУЙ LLM
xTuring упрощает создание и персонализацию собственных LLM: от подготовки данных до fine‑tuning. Инструмент поддерживает адаптеры, готовые пайплайны и экспорт моделей. Пр
★ 2,681 · PythonTinyML LLM для дешевых плат
Запуск языковой модели с 1 млрд параметров на устройстве за $10 с 256 МБ RAM на языке C.
★ 1,614 · CШпаргалка по интервью AI
Сборник вопросов и ответов для подготовки к интервью на позицию AI-инженера. Включает темы машинного обучения, глубокого обучения и системного дизайна.
★ 1,523 · MarkdownANGELSLIM: СЖИМАЕМ МОДЕЛИ БЕЗ ПОТЕРЬ
Инструмент для сжатия моделей с фокусом на удобство и эффективность. 1257 звёзд на GitHub.
★ 1,257 · PythonЗАПУСКАЕМ 284B LLM НА CPU БЕЗ GPU
llama-modchip запускает DeepSeek-V4-Flash 284B на чистом CPU 64GB RAM: 44.4 tok/s префилл, 9-14 tok/s генерация. 30B MoE модели до 111 tok/s. Контекст 256K, восстановлени
★ 1,234 · PythonNNCFF - УСКОРЯЕМ ИНФЕРЕНС МОДЕЛЕЙ
NNCFF — фреймворк сжатия нейросетей для ускоренного inference в OpenVINO™. Сокращает размер модели, сохраняя точность.
★ 1,221 · PythonHALO: ФРЕЙМВОРК ОБУЧЕНИЯ LLM
Halo — открытый фреймворк от White Circle для обучения больших языковых и мультимодальных моделей. Поддерживает агентное обучение, async-RL, распределённое обучение и fin
★ 862 · PythonJANAS: БЫСТРЫЙ ИНФЕРЕНС LLM
janas запускает huge LLM (до 48 ГБ) на ноутбуке 32 ГБ, обгоняя llama.cpp в 8‑10 раз. На Qwen3-Next-80B даёт 37 ток/сек без draft и 62 ток/сек при чтении GGUF. Поддерживае
★ 712 · CSMOLMAXXING: LLM НА МИКРОКОНТРОЛЛЕРАХ
Библиотека на C для запуска LLM на микроконтроллерах и слабом железе. Альтернатива llama.cpp с фокусом на минимальный расход памяти. Поддерживает квантование и разные арх
★ 691 · CTurboVec: Векторный индекс на Rust
Высокопроизводительный векторный индекс на базе TurboQuant с привязками к Python для быстрого поиска ближайших соседей.
★ 599 · RustЗАПУСК DEEPSEEK-V4.1 552B НА ОДНОМ ПК
Xolotl — движок для запуска крупных MoE-моделей (DeepSeek-V4.1-Flash 552B, GLM-5.3-Flash, Qwen3.8, LFM3-Omni) на одном ПК с RTX 4090. Обеспечивает 33 ток/с на агентских з
★ 534 · C++QWEN3.6-27B УЛЬТИМЕЙТ ВЕРСИЯ
Полностью без цензуры, улучшенная версия Qwen3.6-27B с NVFP4 и DFlash спекулятивным декодированием.
★ 495 · PythonAI АГЕНТЫ НА AZURE И GPU
Репозиторий с кодом, бенчмарками и гайдами по AI-агентам и Deep Learning. Развёртывание на Microsoft Foundry и Azure, фаин-тюнинг, оптимизация инференса и GPU-тесты на NV
★ 451 · Jupyter NotebookONECOMPRESSION: СЖАТИЕ LLM БЕЗ ПОТЕРИ
Python‑пакет OneCompression упрощает сжатие больших языковых моделей, сохраняя точность и ускоряя работу.
★ 445 · PythonLLAMAMPERE: УСКОРЕНИЕ LLM НА RTX 3090
Форк llama.cpp с оптимизацией под Ampere GPU. Даёт 110+ токенов/с на Qwen 3.8 при 100K контексте. Работает на 12 ГБ VRAM с 200K+ контекстом.
★ 380 · C++PMETAL: УСКОРЕНИЕ LLM НА APPLE SILICON
PMetal — фреймворк на Rust для высокопроизводительного запуска LLM на Apple Silicon. Поддерживает локальный инференс fine‑tuning LoRA/QLoRA сервинг квантизацию и ускорени
★ 333 · RustPICOLLM - ОФЛАЙН LLM НА УСТРОЙСТВЕ
picollm позволяет выполнять LLM на устройстве благодаря экстремальной k‑битной квантизации, обеспечивая быстрый и приватный вывод без облака.
★ 320 · PythonQDRANT AGENT: НАВЫКИ ВЕКТОРНОГО ПОИСКА
Набор навыков для оптимизации поиска в Qdrant: масштабирование, качество, мониторинг и SDK на Python, TS, Rust и др.
★ 270 · PythonPULSAR — УЛЬТРАБЫСТРЫЙ ИНФЕРЕНС MOE
Pulsar — SSD‑стриминговый движок для гигантских MoE‑моделей на Rust+CUDA.
★ 238 · RustJANGQ — КВАНТОВАНИЕ ДЛЯ APPLE SILICON
JANG — адаптивное смешанно‑точное квантование моделей GGUF для MLX на Apple Silicon. Требует использование runtime JANG_Q для максимальной производительности.
★ 233 · PythonCAMELID: ЛОКАЛЬНЫЙ ИИ НА RUST
Camelid — бэкенд для локального вывода на Rust, совместимый с моделями через доказательную совместимость. Поддерживает Apple Silicon, GGUF, Llama и другие LLM, работает п
★ 221 · RustKVarN: квантование KV‑кеша
KVarN — нативный бекенд квантования KV‑кеша для vLLM, увеличивающий контекст в 3‑5 раз, повышающий пропускную способность выше FP16 и сохраняющий точность FP16 без калибр
★ 159 · PythonLabLLM на macOS
LabLLM – это нативное приложение для macOS, где вы можете собрать архитектуру tiny language model, обучить её веса и увидеть, как модель возникает с нуля на Apple Silicon
★ 39 · SwiftНовые проекты по теме — в Telegram
Telegram →