R_REDDYX.XYZ
AgentsC++★ 534⑂ 65 форковMIT

Indras-Mirror/Xolotl

ЗАПУСК DEEPSEEK-V4.1 552B НА ОДНОМ ПК

Xolotl — движок для запуска крупных MoE-моделей (DeepSeek-V4.1-Flash 552B, GLM-5.3-Flash, Qwen3.8, LFM3-Omni) на одном ПК с RTX 4090. Обеспечивает 33 ток/с на агентских задачах с 512K контекстом через тиринг экспертов по VRAM/RAM/NVMe.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • DeepSeek-V4.1-Flash 552B на RTX 4090 + 110 GB RAM: 33 ток/с
  • Тиринг MoE-экспертов по VRAM, закреплённой RAM и NVMe
  • OpenAI/Anthropic API, 512K контекст, fast-режим 41 ток/с
  • Поддержка GLM-5.3-Flash, Qwen3.8, LFM3-Omni, Muse Glimmer

// РАЗБОР: КАК ЭТО РАБОТАЕТ

Xolotl построен на базе Strata (движок Niko1221) и расширен более чем на 70 тысяч строк кода. Движок реализует собственные бэкенды для DeepSeek-V4.1-Flash, GLM-5.3-Flash, плотный Qwen3.8-27B, LFM3-Omni и Muse Glimmer 30B. MoE-эксперты распределяются по уровням: VRAM, закреплённая системная память (pinned RAM) и NVMe, с прямой загрузкой Xolotl Direct из NVMe в VRAM. Сервер предоставляет OpenAI- и Anthropic-совместимый API с поддержкой 512K контекста.

Отличается от аналогов глубокой интеграцией тиринга экспертов и оптимизациями для конкретных архитектур: DFlash2 для Qwen3.8, мульти-колонковое внимание, gated residuals (hyper-connections) для Qwen4-подобных моделей, looped transformers (SenseNova-Loop-9B). Есть fast-режим (41 ток/с), восстановление рассуждений (reasoning_loop_recovery), встроенные инструменты веб-поиска (Keenable без ключа, Keirolabs/Exa/Perplexity/DeepSeek по ключам). Код открыт под MIT, работает только на Linux с NVIDIA GPU.

Требования: для полной DeepSeek-V4.1-Flash 552B — RTX 4090 (24 GB VRAM) и 110 GB системной RAM; плотные модели вроде Muse Glimmer 30B запускаются на одной 24 GB карте. Нужен Linux, драйверы CUDA. Часть веб-инструментов требуют API-ключей. Сборка под sm_70 (Volta) поддерживается, есть фиксы безопасности (Pillow JPEG 2000).

// СЦЕНАРИИ ИСПОЛЬЗОВАНИЯ

Кому пригодится: Разработчикам, запускающим крупные MoE локально без кластера

  • Запускать DeepSeek-V4.1-Flash 552B как локального код-агента на одной 4090
  • Обслуживать несколько MoE и плотных моделей через единый OpenAI-совместимый API
  • Использовать веб-поиск и tool-calling без облачных зависимостей
#abliteration#cuda#deepseek#deepseek-v4#deepseek-v4-1#gguf#glm#glm-5#llm-inference#local-llm#mixture-of-experts#moe
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

БЕЛАЯ ДОСКА С MCP ДЛЯ ИССЛЕДОВАТЕЛЬСКИХ AI-АГЕНТОВ★ 512АГЕНТСКИЙ НАВЫК ОЧИСТКИ UI ОТ ИИ-ПАТТЕРНОВ★ 570КАД-СИСТЕМА С АГЕНТАМИ ДЛЯ CADQUERY★ 490БЕНЧМАРК ВОССТАНОВЛЕНИЯ ВЕБ-САЙТОВ АГЕНТАМИ★ 47645 НАВЫКОВ АГЕНТОВ ДЛЯ ПРОДАКТА★ 611MCP-СЕРВЕР ДЛЯ УПРАВЛЕНИЯ БРАУЗЕРОМ АГЕНТАМИ★ 612

← ВЕСЬ КАТАЛОГ

Indras-Mirror/Xolotl — Запуск Deepseek-V4.1 552b на одном ПК