R_REDDYX.XYZ
AIPython★ 0

zorost/sparkduet

SparkDuet: на-demand библиотека моделей

Проект предоставляет единый OpenAI‑совместимый эндпоинт для запуска моделей DeepSeek и Qwen, обслуживает их через два vLLM‑лейна (TP=2) на кластере NVIDIA DGX Spark и поддерживает дообучение с Unsloth QLoRA.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Запуск DeepSeek и Qwen через один OpenAI‑совместимый эндпоинт
  • Два vLLM‑лейна (TP=2) обеспечивают низкую задержку и высокую пропускную способность
  • On‑demand модель библиотека: загрузка и выгрузка моделей по запросу
  • Поддержка тонкой настройки с Unsloth QLoRA на 2× DGX Spark
#coding-agents#deepseek#dgx-spark#fine-tuning#gb10#homelab#llama-swap#llm-inference#llm-serving#local-ai#local-llm#nvidia
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

🐍 CTI RAG★ 0🐍 ALEXANDRIA AUDIOBOOK★ 0🤖 SKILLS MANAGER★ 0🤖 MEDGECLAW★ 0🐍 SWE AF★ 0🤖 CLAUDE FORGE★ 0

← ВЕСЬ КАТАЛОГ

zorost/sparkduet — SparkDuet: на-demand библиотека моделей