Moe: open-source проекты на GitHub
23 репозиториев по теме Moe, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.
// СМЕЖНЫЕ ТЕМЫ
Высокопроизводительный движок LLM
Высокопроизводительный и память‑эффективный движок для инференса и обслуживания больших языковых моделей.
★ 79,783 · PythonУнифицированная настройка LLM
Библиотека для эффективного дообучения более 100 языковых и vision‑моделей, представленная на ACL 2024.
★ 71,186 · PythonSGLang: Фреймворк LLM
SGLang — это высокопроизводительный фреймворк для обслуживания больших языковых и мультимодальных моделей.
★ 27,854 · PythonFreeToken: локальный запуск моделей
FreeToken позволяет запускать большие ИИ‑модели на своём ПК, обеспечивая скорость и эффективность уровня дата‑центра без необходимости в облачных ресурсах.
★ 17,197 · Pythonms-swift: обучение LLM
Фреймворк для тонкой настройки 600+ языковых и 300+ мультимодальных моделей. Поддержка PEFT, полная донастройка, CPT/SFT/DPO/GRPO.
★ 14,178 · PythonKIMI K3: 2.78 ТРЛН ПАРАМЕТРОВ
Запуск модели Kimi K3 с 2,78 трлн параметров на одном CPU, используя всего 8,24 ГБ RAM без BLAS, фреймворков и GPU.
★ 12,109 · CPROJECT MAYA: ЛОКАЛЬНЫЙ ЗАПУСК LLM
Project Maya позволяет запускать GLM-5.3-Flash (321B MoE) локально на одном или до 16 GPU, поддерживая NVIDIA и AMD под Linux и Windows. В комплекте — движок, сервер, даш
★ 2,898 · C++UCCL: GPU СВЯЗЬ НА МАКСИМУМЕ
Быстрая библиотека для эффективного обмена данными между GPU: коллективные операции, P2P и ускорение инференса.
★ 1,586 · C++TUTEL УСКОРЯЕМ МОЭ НА C
Оптимизированная библиотека Mixture‑of‑Experts для ускоренного инференса LLM с поддержкой FP8, NVFP4 и MXFP4.
★ 1,028 · CHALO: ФРЕЙМВОРК ОБУЧЕНИЯ LLM
Halo — открытый фреймворк от White Circle для обучения больших языковых и мультимодальных моделей. Поддерживает агентное обучение, async-RL, распределённое обучение и fin
★ 862 · PythonРЕАЛИЗУЕМ LLM АРХИТЕКТУРЫ С НУЛЯ
Проект содержит чистые реализации современных LLM архитектур на PyTorch. Включает DeepSeek-R1, DeepSeek-V3, Gemma 3, Kimi K2 и Llama 4. Идеально для изучения внутренней с
★ 856 · PythonBIGMOEONEDGE - СУПЕР МОЭ НА ТЕЛЕФОНЕ
Проект позволяет запускать модели Mixture‑of‑Experts размером 284 B на устройстве с 12 ГБ ОЗУ, используя только CPU и llama.cpp без потери точности.
★ 855 · C++SWIFTLM: SWIFT ДЛЯ LLM НА APPLE
Native inference сервер LLM на Swift с MLX, совместимый с OpenAI API, потоковая передача SSD для MoE >100B и сжатие KV‑кеша TurboQuant.
★ 799 · SwiftPEGAINFER: РАСТ + CUDA ИНФЕР
Движок LLM на чистом Rust с CUDA‑ускорением, совместимый с OpenAI API, запускает Qwen3 и Kimi‑K2 без PyTorch.
★ 742 · RustJANAS: БЫСТРЫЙ ИНФЕРЕНС LLM
janas запускает huge LLM (до 48 ГБ) на ноутбуке 32 ГБ, обгоняя llama.cpp в 8‑10 раз. На Qwen3-Next-80B даёт 37 ток/сек без draft и 62 ток/сек при чтении GGUF. Поддерживае
★ 712 · CЗАПУСК DEEPSEEK-V4.1 552B НА ОДНОМ ПК
Xolotl — движок для запуска крупных MoE-моделей (DeepSeek-V4.1-Flash 552B, GLM-5.3-Flash, Qwen3.8, LFM3-Omni) на одном ПК с RTX 4090. Обеспечивает 33 ток/с на агентских з
★ 534 · C++DS4 НА SPARK: УСКОРЕНИЕ 3X
Однокомандная установка fork ds4 на NVIDIA DGX Spark с ~3‑кратным ускорением prefill и ~1.5‑кратным decode.
★ 415 · ShellZERAIX: ЛОКАЛЬНЫЙ AI РАБОЧИЙ СТОЛ
Локальное open-source окружение для запуска ИИ-моделей на устройстве. Ускоряет inference без облака.
★ 405 · TypeScriptНЕ ОЛЛАМА — мнение не придерживаюсь
Auto-tuned launcher для GGUF моделей на llama.cpp — сервер с поддержкой нескольких GPU, настройкой под железо и восстановлением после крашей. Звёздочек: 226.
★ 284 · GoPULSAR — УЛЬТРАБЫСТРЫЙ ИНФЕРЕНС MOE
Pulsar — SSD‑стриминговый движок для гигантских MoE‑моделей на Rust+CUDA.
★ 238 · RustPURE-RUST ДВИЖОК ДЛЯ QWEN GGUF
RustingStrata — чисто на Rust движок вывода для Qwen GGUF (Qwen3–3.8, MoE до 770B+). Поддерживает CUDA/Vulkan, гибрид CPU+GPU, MTP спекулятивное декодирование. До 1.7x ll
★ 231 · RustНастройка выравнивания LLM
Автоматическая калибровка цензурного слоя языковых моделей через прямую модификацию весов и использование LoRA и экспертов MoE.
★ 221 · PythonMEMRA - ИИ УСКОРИТЕЛЬ ДЛЯ RTX
Memra — это реализация inference LLM с нуля, оптимизированная под архитектуры RTX 5090 (sm_120a) и H100 (sm_90a) на Rust.
★ 6 · RustНовые проекты по теме — в Telegram
Telegram →