Lightricks/LTX-2
LTX-2: ДИТ-МОДЕЛЬ СИНХРОННОГО АУДИО И ВИДЕО
LTX-2 — это DiT-базовая фундаментальная модель для генерации синхронизированного аудио и видео. Пакет включает инференс на Python и обучение LoRA для производственного использования.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Генерация синхронизированного аудио и видео в одной модели DiT
- Два режимы: быстрый DistilledPipeline и качественный DFR с IC-LoRA
- Поддержка квантования fp8 и оффлоада на CPU/диск для экономии VRAM
- Включает текстовый энкодер Gemma4-12B, 22B трансформер, VAE и апскейлер
// РАЗБОР: КАК ЭТО РАБОТАЕТ
LTX-2 использует архитектуру Diffusion Transformer (DiT) для одновременной генерации видео и аудио из текстовых промптов. Конвейер загружает 22B дистиллированный трансформер, текстовый энкодер Gemma4-12B, отдельные VAE для видео и аудио, а также латентный пространственный апскейлер. Существует два пути инференса: DistilledPipeline для скорости и DFR (Diffusion Fidelity Rendering) для продакшн-качества, который добавляет проходы детализации IC-LoRA и дополнительные ключевые кадры.
В отличие от моделей, обрабатывающих видео и аудио раздельно, LTX-2 объединяет их в одной фундаментальной модели. Режим DFR повторно использует тот же дистиллированный трансформер, но применяет проход пространственной детализации с генерированными ключевыми кадрами, увеличивая требования к VRAM и время выполнения. Пакет использует uv для управления зависимостями и поддерживает neighborhood attention через natten на Linux/CUDA, с фоллбэком на Triton или eager реализации на других ОС. Модели весят ~66 ГБ и требуют аутентификации Hugging Face.
Требуется GPU с достаточным VRAM (22B трансформер плюс VAE); квантование fp8-cast и оффлоад на CPU или диск снижают давление на память. Репозиторий закрыт на Hugging Face, нужен read-токен с областью gated repo. Linux с CUDA даёт самый быстрый бэкенд natten; Windows и macOS переключаются на более медленное декодирование. Дополнительных API-ключей, кроме HF auth, не указано.
// СЦЕНАРИИ ИСПОЛЬЗОВАНИЯ
Кому пригодится: ML-инженерам и исследователям для создания аудиовизуального контента
- Создавать синхронизированные видео с речью и звуковыми эффектами по текстовому описанию
- Генерировать продакшн-качественные клипы через DFR-режим с детализацией ключевых кадров
- Обучать LoRA-адаптеры для дообучения модели под специфические стили или персонажей
// БЫСТРЫЙ СТАРТ
git clone https://github.com/Lightricks/LTX-2.git
cd LTX-2
uv sync --extra natten
hf auth loginКоманды взяты из README репозитория — перед запуском сверьтесь с актуальной версией на GitHub.
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram