hao-ai-lab/FastVideo
ЕДИНЫЙ ФРЕЙМВОРК ДЛЯ УСКОРЕННОЙ ГЕНЕРАЦИИ ВИДЕО
FastVideo — единый фреймворк для пост-обучения и инференса ускоренной генерации видео. Поддерживает дистилляцию, разреженное внимание и реальное время через Dreamverse.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Пост-обучение: полный файнтюнинг и LoRA для видео DiT
- Разреженная дистилляция DMD2: >50× ускорение денойзинга
- Инференс с Sequence Parallelism и множеством attention-бэкендов
- Dreamverse: генерация и редактирование видео в реальном времени
// РАЗБОР: КАК ЭТО РАБОТАЕТ
FastVideo объединяет пайплайн пост-обучения (full fine-tuning, LoRA, DMD2-дистилляция, Self-Forcing) и оптимизированный инференс с Sequence Parallelism, несколькими attention-бэкендами и CLI/API. Поддерживаются bidirectional и autoregressive видео-DiT, есть препроцессинг видео/изображений/текста и масштабируемое обучение через FSDP2 с activation checkpointing.
Отличается набором ускорений: разреженное внимание Video Sparse Attention, sparse-дистилляция даёт >50× скорости денойзинга, а Dreamverse позволяет стримить и «vibe directing» видео в реальном времени. В репозитории интегрированы модели PAN 2, FastH3 Omni, Kandinsky 6, FastH3 V2/Trim — с чекпойнтами для base и distilled версий.
Требует Python 3.12, CUDA 12 (cu126) для NVIDIA GPU (H100, A100, 4090/5090, RTX PRO 6000, DGX Spark), работает на Linux, Windows, macOS (Apple Silicon через MLX) и AMD/ROCm. Есть деплой через Docker, Modal, SSH на B200. Минимальная VRAM для FastH3 Trim — 8 ГБ.
// СЦЕНАРИИ ИСПОЛЬЗОВАНИЯ
Кому пригодится: ML-инженерам и исследователям для ускорения видео-генерации на GPU
- Обучить ускоренную модель генерации видео через разреженную дистилляцию DMD2
- Запустить инференс видео-модели с Sequence Parallelism на нескольких GPU
- Развернуть Dreamverse для стриминга и редактирования видео в реальном времени
// БЫСТРЫЙ СТАРТ
uv venv --python 3.12 --seed
source .venv/bin/activate
UV_TORCH_BACKEND=cu126 uv pip install fastvideoКоманды взяты из README репозитория — перед запуском сверьтесь с актуальной версией на GitHub.
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram