AIPython★ 0
zorost/sparkduet
SparkDuet: на-demand библиотека моделей
Проект предоставляет единый OpenAI‑совместимый эндпоинт для запуска моделей DeepSeek и Qwen, обслуживает их через два vLLM‑лейна (TP=2) на кластере NVIDIA DGX Spark и поддерживает дообучение с Unsloth QLoRA.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Запуск DeepSeek и Qwen через один OpenAI‑совместимый эндпоинт
- Два vLLM‑лейна (TP=2) обеспечивают низкую задержку и высокую пропускную способность
- On‑demand модель библиотека: загрузка и выгрузка моделей по запросу
- Поддержка тонкой настройки с Unsloth QLoRA на 2× DGX Spark
#coding-agents#deepseek#dgx-spark#fine-tuning#gb10#homelab#llama-swap#llm-inference#llm-serving#local-ai#local-llm#nvidia
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram