Mixture Of Experts: open-source проекты на GitHub
19 репозиториев по теме Mixture Of Experts, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.
// СМЕЖНЫЕ ТЕМЫ
DeepSpeed: библиотека оптимизации обучения
DeepSpeed — библиотека оптимизации deep learning, обеспечивающая эффективное распределенное обучение и инференс. Поддерживает технологии ZeRO, MoE и параллелизм для обуче
★ 43,332 · PythonKIMI K3: 2.78 ТРЛН ПАРАМЕТРОВ
Запуск модели Kimi K3 с 2,78 трлн параметров на одном CPU, используя всего 8,24 ГБ RAM без BLAS, фреймворков и GPU.
★ 12,109 · CAI Infra: Книга по LLM
Открытая книга о量化 анализе и системном проектировании LLM inference и training, включающая полный текст, PDF и инструменты расчётов.
★ 7,748 · PythonOPTILLM — УСКОРЯЕМ ИНФЕРЕНС LLM
optillm — прокси‑ускоритель для LLM, снижает задержку и экономит ресурсы при инференсе.
★ 4,343 · PythonPROJECT MAYA: ЛОКАЛЬНЫЙ ЗАПУСК LLM
Project Maya позволяет запускать GLM-5.3-Flash (321B MoE) локально на одном или до 16 GPU, поддерживая NVIDIA и AMD под Linux и Windows. В комплекте — движок, сервер, даш
★ 2,898 · C++БЫСТРЫЙ ЗАПУСК QWEN3.8 НА AMD
Проект предоставляет скрипты для мгновенного развёртывания Qwen3.8-Flash-Next на GPU AMD Strix Halo (gfx1151) через HIP. Все зависимости собираются автоматически, а infer
★ 1,349 · ShellЗАПУСКАЕМ 284B LLM НА CPU БЕЗ GPU
llama-modchip запускает DeepSeek-V4-Flash 284B на чистом CPU 64GB RAM: 44.4 tok/s префилл, 9-14 tok/s генерация. 30B MoE модели до 111 tok/s. Контекст 256K, восстановлени
★ 1,234 · PythonМОДЕЛИ БОЛЬШЕ VRAM НА SSD
inferssd запускает MoE-модели, превышающие RAM и VRAM, стримя экспертов с SSD. Построен на llama.cpp, поддерживает GGUF, CUDA и Apple Silicon. 288 звёзд на GitHub.
★ 1,108 · C++ЗАПУСТИ БОЛЬШИЕ LLM ЛОКАЛЬНО
PolyStrata позволяет запускать Qwen3.8-Flash, GLM 5.3 Flash, DeepSeek V4 и другие модели на своем ПК. Установка за один клик на Windows и Linux с поддержкой OpenAI/Anthro
★ 1,037 · C++TUTEL УСКОРЯЕМ МОЭ НА C
Оптимизированная библиотека Mixture‑of‑Experts для ускоренного инференса LLM с поддержкой FP8, NVFP4 и MXFP4.
★ 1,028 · CBIGMOEONEDGE - СУПЕР МОЭ НА ТЕЛЕФОНЕ
Проект позволяет запускать модели Mixture‑of‑Experts размером 284 B на устройстве с 12 ГБ ОЗУ, используя только CPU и llama.cpp без потери точности.
★ 855 · C++JANAS: БЫСТРЫЙ ИНФЕРЕНС LLM
janas запускает huge LLM (до 48 ГБ) на ноутбуке 32 ГБ, обгоняя llama.cpp в 8‑10 раз. На Qwen3-Next-80B даёт 37 ток/сек без draft и 62 ток/сек при чтении GGUF. Поддерживае
★ 712 · CSLOTSTREAM ЗАПУСКАЕТ QWEN3.8 НА МАК
Запустите Qwen3.8‑Flash‑Next (125B MoE, 104 ГБ в 4‑бит) на Mac, загружая эксперты по требованию с SSD. Реализовано на MLX + Swift, предоставляет API, совместимый с Ollama
★ 673 · SwiftЗАПУСК DEEPSEEK-V4.1 552B НА ОДНОМ ПК
Xolotl — движок для запуска крупных MoE-моделей (DeepSeek-V4.1-Flash 552B, GLM-5.3-Flash, Qwen3.8, LFM3-Omni) на одном ПК с RTX 4090. Обеспечивает 33 ток/с на агентских з
★ 534 · C++FonaTech Chronos
Проект Chronos обеспечивает нулевую задержку инференса Mixture‑of‑Experts за счёт lookahead‑предсказания и асинхронного DMA‑префетча с SSD, а также GPU‑оптимизированных я
★ 299 · PythonUNIMMAD ОБНАРУЖЕНИЕ АНОМАЛИЙ В МУЛЬТИМЕДИА
UniMMAD предлагает unified подход к обнаружению аномалий в мультимедиа, комбинируя изображения, аудио и текст. Используя mixture‑of‑experts, он выполняет feature decompre
★ 248 · PythonPULSAR — УЛЬТРАБЫСТРЫЙ ИНФЕРЕНС MOE
Pulsar — SSD‑стриминговый движок для гигантских MoE‑моделей на Rust+CUDA.
★ 238 · RustPURE-RUST ДВИЖОК ДЛЯ QWEN GGUF
RustingStrata — чисто на Rust движок вывода для Qwen GGUF (Qwen3–3.8, MoE до 770B+). Поддерживает CUDA/Vulkan, гибрид CPU+GPU, MTP спекулятивное декодирование. До 1.7x ll
★ 231 · RustНастройка выравнивания LLM
Автоматическая калибровка цензурного слоя языковых моделей через прямую модификацию весов и использование LoRA и экспертов MoE.
★ 221 · PythonНовые проекты по теме — в Telegram
Telegram →