R_REDDYX.XYZ

Moe: open-source проекты на GitHub

23 репозиториев по теме Moe, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.

// СМЕЖНЫЕ ТЕМЫ

LLM 2064Cuda 46Inference 88Mixture Of Experts 19Qwen 101Gguf 45Quantization 29Deepseek 223LLM Inference 76Local LLM 102Qwen3 30Glm 24Openai API 86Llama 106
vllm-project/vllm

Высокопроизводительный движок LLM

Высокопроизводительный и память‑эффективный движок для инференса и обслуживания больших языковых моделей.

★ 79,783 · Python
hiyouga/LlamaFactory

Унифицированная настройка LLM

Библиотека для эффективного дообучения более 100 языковых и vision‑моделей, представленная на ACL 2024.

★ 71,186 · Python
sgl-project/sglang

SGLang: Фреймворк LLM

SGLang — это высокопроизводительный фреймворк для обслуживания больших языковых и мультимодальных моделей.

★ 27,854 · Python
FlashML-org/FreeToken

FreeToken: локальный запуск моделей

FreeToken позволяет запускать большие ИИ‑модели на своём ПК, обеспечивая скорость и эффективность уровня дата‑центра без необходимости в облачных ресурсах.

★ 17,197 · Python
modelscope/ms-swift

ms-swift: обучение LLM

Фреймворк для тонкой настройки 600+ языковых и 300+ мультимодальных моделей. Поддержка PEFT, полная донастройка, CPT/SFT/DPO/GRPO.

★ 14,178 · Python
FareedKhan-dev/kimi-k3-in-c

KIMI K3: 2.78 ТРЛН ПАРАМЕТРОВ

Запуск модели Kimi K3 с 2,78 трлн параметров на одном CPU, используя всего 8,24 ГБ RAM без BLAS, фреймворков и GPU.

★ 12,109 · C
mw00/project-maya

PROJECT MAYA: ЛОКАЛЬНЫЙ ЗАПУСК LLM

Project Maya позволяет запускать GLM-5.3-Flash (321B MoE) локально на одном или до 16 GPU, поддерживая NVIDIA и AMD под Linux и Windows. В комплекте — движок, сервер, даш

★ 2,898 · C++
uccl-project/uccl

UCCL: GPU СВЯЗЬ НА МАКСИМУМЕ

Быстрая библиотека для эффективного обмена данными между GPU: коллективные операции, P2P и ускорение инференса.

★ 1,586 · C++
microsoft/Tutel

TUTEL УСКОРЯЕМ МОЭ НА C

Оптимизированная библиотека Mixture‑of‑Experts для ускоренного инференса LLM с поддержкой FP8, NVFP4 и MXFP4.

★ 1,028 · C
whitecircle/halo

HALO: ФРЕЙМВОРК ОБУЧЕНИЯ LLM

Halo — открытый фреймворк от White Circle для обучения больших языковых и мультимодальных моделей. Поддерживает агентное обучение, async-RL, распределённое обучение и fin

★ 862 · Python
YeonwooSung/llm-architecture-from-scratch

РЕАЛИЗУЕМ LLM АРХИТЕКТУРЫ С НУЛЯ

Проект содержит чистые реализации современных LLM архитектур на PyTorch. Включает DeepSeek-R1, DeepSeek-V3, Gemma 3, Kimi K2 и Llama 4. Идеально для изучения внутренней с

★ 856 · Python
Helldez/BigMoeOnEdge

BIGMOEONEDGE - СУПЕР МОЭ НА ТЕЛЕФОНЕ

Проект позволяет запускать модели Mixture‑of‑Experts размером 284 B на устройстве с 12 ГБ ОЗУ, используя только CPU и llama.cpp без потери точности.

★ 855 · C++
SharpAI/SwiftLM

SWIFTLM: SWIFT ДЛЯ LLM НА APPLE

Native inference сервер LLM на Swift с MLX, совместимый с OpenAI API, потоковая передача SSD для MoE >100B и сжатие KV‑кеша TurboQuant.

★ 799 · Swift
pegainfer-project/pegainfer

PEGAINFER: РАСТ + CUDA ИНФЕР

Движок LLM на чистом Rust с CUDA‑ускорением, совместимый с OpenAI API, запускает Qwen3 и Kimi‑K2 без PyTorch.

★ 742 · Rust
prabanta-dev/janas

JANAS: БЫСТРЫЙ ИНФЕРЕНС LLM

janas запускает huge LLM (до 48 ГБ) на ноутбуке 32 ГБ, обгоняя llama.cpp в 8‑10 раз. На Qwen3-Next-80B даёт 37 ток/сек без draft и 62 ток/сек при чтении GGUF. Поддерживае

★ 712 · C
Indras-Mirror/Xolotl

ЗАПУСК DEEPSEEK-V4.1 552B НА ОДНОМ ПК

Xolotl — движок для запуска крупных MoE-моделей (DeepSeek-V4.1-Flash 552B, GLM-5.3-Flash, Qwen3.8, LFM3-Omni) на одном ПК с RTX 4090. Обеспечивает 33 ток/с на агентских з

★ 534 · C++
Entrpi/ds4-on-spark

DS4 НА SPARK: УСКОРЕНИЕ 3X

Однокомандная установка fork ds4 на NVIDIA DGX Spark с ~3‑кратным ускорением prefill и ~1.5‑кратным decode.

★ 415 · Shell
zeraix/zeraix

ZERAIX: ЛОКАЛЬНЫЙ AI РАБОЧИЙ СТОЛ

Локальное open-source окружение для запуска ИИ-моделей на устройстве. Ускоряет inference без облака.

★ 405 · TypeScript
raketenkater/ggrun

НЕ ОЛЛАМА — мнение не придерживаюсь

Auto-tuned launcher для GGUF моделей на llama.cpp — сервер с поддержкой нескольких GPU, настройкой под железо и восстановлением после крашей. Звёздочек: 226.

★ 284 · Go
giannisanni/pulsar

PULSAR — УЛЬТРАБЫСТРЫЙ ИНФЕРЕНС MOE

Pulsar — SSD‑стриминговый движок для гигантских MoE‑моделей на Rust+CUDA.

★ 238 · Rust
RustingStudio/RustingStrata

PURE-RUST ДВИЖОК ДЛЯ QWEN GGUF

RustingStrata — чисто на Rust движок вывода для Qwen GGUF (Qwen3–3.8, MoE до 770B+). Поддерживает CUDA/Vulkan, гибрид CPU+GPU, MTP спекулятивное декодирование. До 1.7x ll

★ 231 · Rust
wuwangzhang1216/abliterix

Настройка выравнивания LLM

Автоматическая калибровка цензурного слоя языковых моделей через прямую модификацию весов и использование LoRA и экспертов MoE.

★ 221 · Python
avifenesh/memra

MEMRA - ИИ УСКОРИТЕЛЬ ДЛЯ RTX

Memra — это реализация inference LLM с нуля, оптимизированная под архитектуры RTX 5090 (sm_120a) и H100 (sm_90a) на Rust.

★ 6 · Rust

Новые проекты по теме — в Telegram

Telegram →
Moe — 23 open-source проектов на GitHub | REDDYX AI