R_REDDYX.XYZ

Mixture Of Experts: open-source проекты на GitHub

19 репозиториев по теме Mixture Of Experts, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.

// СМЕЖНЫЕ ТЕМЫ

LLM 2064Moe 23Local LLM 102Gguf 45LLM Inference 76Quantization 29Cuda 46Qwen 101Inference Engine 18Openai API 86Speculative Decoding 21Inference 88Deepseek 223Glm 24
deepspeedai/DeepSpeed

DeepSpeed: библиотека оптимизации обучения

DeepSpeed — библиотека оптимизации deep learning, обеспечивающая эффективное распределенное обучение и инференс. Поддерживает технологии ZeRO, MoE и параллелизм для обуче

★ 43,332 · Python
FareedKhan-dev/kimi-k3-in-c

KIMI K3: 2.78 ТРЛН ПАРАМЕТРОВ

Запуск модели Kimi K3 с 2,78 трлн параметров на одном CPU, используя всего 8,24 ГБ RAM без BLAS, фреймворков и GPU.

★ 12,109 · C
bojieli/ai-infra-book

AI Infra: Книга по LLM

Открытая книга о量化 анализе и системном проектировании LLM inference и training, включающая полный текст, PDF и инструменты расчётов.

★ 7,748 · Python
algorithmicsuperintelligence/optillm

OPTILLM — УСКОРЯЕМ ИНФЕРЕНС LLM

optillm — прокси‑ускоритель для LLM, снижает задержку и экономит ресурсы при инференсе.

★ 4,343 · Python
mw00/project-maya

PROJECT MAYA: ЛОКАЛЬНЫЙ ЗАПУСК LLM

Project Maya позволяет запускать GLM-5.3-Flash (321B MoE) локально на одном или до 16 GPU, поддерживая NVIDIA и AMD под Linux и Windows. В комплекте — движок, сервер, даш

★ 2,898 · C++
peonist-ai/halogen-flash-server

БЫСТРЫЙ ЗАПУСК QWEN3.8 НА AMD

Проект предоставляет скрипты для мгновенного развёртывания Qwen3.8-Flash-Next на GPU AMD Strix Halo (gfx1151) через HIP. Все зависимости собираются автоматически, а infer

★ 1,349 · Shell
synchopate/llama-modchip

ЗАПУСКАЕМ 284B LLM НА CPU БЕЗ GPU

llama-modchip запускает DeepSeek-V4-Flash 284B на чистом CPU 64GB RAM: 44.4 tok/s префилл, 9-14 tok/s генерация. 30B MoE модели до 111 tok/s. Контекст 256K, восстановлени

★ 1,234 · Python
wici-ai/inferssd

МОДЕЛИ БОЛЬШЕ VRAM НА SSD

inferssd запускает MoE-модели, превышающие RAM и VRAM, стримя экспертов с SSD. Построен на llama.cpp, поддерживает GGUF, CUDA и Apple Silicon. 288 звёзд на GitHub.

★ 1,108 · C++
simplexai-labs/PolyStrata

ЗАПУСТИ БОЛЬШИЕ LLM ЛОКАЛЬНО

PolyStrata позволяет запускать Qwen3.8-Flash, GLM 5.3 Flash, DeepSeek V4 и другие модели на своем ПК. Установка за один клик на Windows и Linux с поддержкой OpenAI/Anthro

★ 1,037 · C++
microsoft/Tutel

TUTEL УСКОРЯЕМ МОЭ НА C

Оптимизированная библиотека Mixture‑of‑Experts для ускоренного инференса LLM с поддержкой FP8, NVFP4 и MXFP4.

★ 1,028 · C
Helldez/BigMoeOnEdge

BIGMOEONEDGE - СУПЕР МОЭ НА ТЕЛЕФОНЕ

Проект позволяет запускать модели Mixture‑of‑Experts размером 284 B на устройстве с 12 ГБ ОЗУ, используя только CPU и llama.cpp без потери точности.

★ 855 · C++
prabanta-dev/janas

JANAS: БЫСТРЫЙ ИНФЕРЕНС LLM

janas запускает huge LLM (до 48 ГБ) на ноутбуке 32 ГБ, обгоняя llama.cpp в 8‑10 раз. На Qwen3-Next-80B даёт 37 ток/сек без draft и 62 ток/сек при чтении GGUF. Поддерживае

★ 712 · C
carloslfu/slotstream

SLOTSTREAM ЗАПУСКАЕТ QWEN3.8 НА МАК

Запустите Qwen3.8‑Flash‑Next (125B MoE, 104 ГБ в 4‑бит) на Mac, загружая эксперты по требованию с SSD. Реализовано на MLX + Swift, предоставляет API, совместимый с Ollama

★ 673 · Swift
Indras-Mirror/Xolotl

ЗАПУСК DEEPSEEK-V4.1 552B НА ОДНОМ ПК

Xolotl — движок для запуска крупных MoE-моделей (DeepSeek-V4.1-Flash 552B, GLM-5.3-Flash, Qwen3.8, LFM3-Omni) на одном ПК с RTX 4090. Обеспечивает 33 ток/с на агентских з

★ 534 · C++
FonaTech/Project_Chronos

FonaTech Chronos

Проект Chronos обеспечивает нулевую задержку инференса Mixture‑of‑Experts за счёт lookahead‑предсказания и асинхронного DMA‑префетча с SSD, а также GPU‑оптимизированных я

★ 299 · Python
yuanzhao-CVLAB/UniMMAD

UNIMMAD ОБНАРУЖЕНИЕ АНОМАЛИЙ В МУЛЬТИМЕДИА

UniMMAD предлагает unified подход к обнаружению аномалий в мультимедиа, комбинируя изображения, аудио и текст. Используя mixture‑of‑experts, он выполняет feature decompre

★ 248 · Python
giannisanni/pulsar

PULSAR — УЛЬТРАБЫСТРЫЙ ИНФЕРЕНС MOE

Pulsar — SSD‑стриминговый движок для гигантских MoE‑моделей на Rust+CUDA.

★ 238 · Rust
RustingStudio/RustingStrata

PURE-RUST ДВИЖОК ДЛЯ QWEN GGUF

RustingStrata — чисто на Rust движок вывода для Qwen GGUF (Qwen3–3.8, MoE до 770B+). Поддерживает CUDA/Vulkan, гибрид CPU+GPU, MTP спекулятивное декодирование. До 1.7x ll

★ 231 · Rust
wuwangzhang1216/abliterix

Настройка выравнивания LLM

Автоматическая калибровка цензурного слоя языковых моделей через прямую модификацию весов и использование LoRA и экспертов MoE.

★ 221 · Python

Новые проекты по теме — в Telegram

Telegram →
Mixture Of Experts — 19 open-source проектов на GitHub | REDDYX AI