Indras-Mirror/Xolotl
ЗАПУСК DEEPSEEK-V4.1 552B НА ОДНОМ ПК
Xolotl — движок для запуска крупных MoE-моделей (DeepSeek-V4.1-Flash 552B, GLM-5.3-Flash, Qwen3.8, LFM3-Omni) на одном ПК с RTX 4090. Обеспечивает 33 ток/с на агентских задачах с 512K контекстом через тиринг экспертов по VRAM/RAM/NVMe.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- DeepSeek-V4.1-Flash 552B на RTX 4090 + 110 GB RAM: 33 ток/с
- Тиринг MoE-экспертов по VRAM, закреплённой RAM и NVMe
- OpenAI/Anthropic API, 512K контекст, fast-режим 41 ток/с
- Поддержка GLM-5.3-Flash, Qwen3.8, LFM3-Omni, Muse Glimmer
// РАЗБОР: КАК ЭТО РАБОТАЕТ
Xolotl построен на базе Strata (движок Niko1221) и расширен более чем на 70 тысяч строк кода. Движок реализует собственные бэкенды для DeepSeek-V4.1-Flash, GLM-5.3-Flash, плотный Qwen3.8-27B, LFM3-Omni и Muse Glimmer 30B. MoE-эксперты распределяются по уровням: VRAM, закреплённая системная память (pinned RAM) и NVMe, с прямой загрузкой Xolotl Direct из NVMe в VRAM. Сервер предоставляет OpenAI- и Anthropic-совместимый API с поддержкой 512K контекста.
Отличается от аналогов глубокой интеграцией тиринга экспертов и оптимизациями для конкретных архитектур: DFlash2 для Qwen3.8, мульти-колонковое внимание, gated residuals (hyper-connections) для Qwen4-подобных моделей, looped transformers (SenseNova-Loop-9B). Есть fast-режим (41 ток/с), восстановление рассуждений (reasoning_loop_recovery), встроенные инструменты веб-поиска (Keenable без ключа, Keirolabs/Exa/Perplexity/DeepSeek по ключам). Код открыт под MIT, работает только на Linux с NVIDIA GPU.
Требования: для полной DeepSeek-V4.1-Flash 552B — RTX 4090 (24 GB VRAM) и 110 GB системной RAM; плотные модели вроде Muse Glimmer 30B запускаются на одной 24 GB карте. Нужен Linux, драйверы CUDA. Часть веб-инструментов требуют API-ключей. Сборка под sm_70 (Volta) поддерживается, есть фиксы безопасности (Pillow JPEG 2000).
// СЦЕНАРИИ ИСПОЛЬЗОВАНИЯ
Кому пригодится: Разработчикам, запускающим крупные MoE локально без кластера
- Запускать DeepSeek-V4.1-Flash 552B как локального код-агента на одной 4090
- Обслуживать несколько MoE и плотных моделей через единый OpenAI-совместимый API
- Использовать веб-поиск и tool-calling без облачных зависимостей
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram