R_REDDYX.XYZ
MultimodalPython★ 10,312⑂ 1,649 форковApache-2.0

Lightricks/LTX-2

LTX-2: ДИТ-МОДЕЛЬ СИНХРОННОГО АУДИО И ВИДЕО

LTX-2 — это DiT-базовая фундаментальная модель для генерации синхронизированного аудио и видео. Пакет включает инференс на Python и обучение LoRA для производственного использования.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Генерация синхронизированного аудио и видео в одной модели DiT
  • Два режимы: быстрый DistilledPipeline и качественный DFR с IC-LoRA
  • Поддержка квантования fp8 и оффлоада на CPU/диск для экономии VRAM
  • Включает текстовый энкодер Gemma4-12B, 22B трансформер, VAE и апскейлер

// РАЗБОР: КАК ЭТО РАБОТАЕТ

LTX-2 использует архитектуру Diffusion Transformer (DiT) для одновременной генерации видео и аудио из текстовых промптов. Конвейер загружает 22B дистиллированный трансформер, текстовый энкодер Gemma4-12B, отдельные VAE для видео и аудио, а также латентный пространственный апскейлер. Существует два пути инференса: DistilledPipeline для скорости и DFR (Diffusion Fidelity Rendering) для продакшн-качества, который добавляет проходы детализации IC-LoRA и дополнительные ключевые кадры.

В отличие от моделей, обрабатывающих видео и аудио раздельно, LTX-2 объединяет их в одной фундаментальной модели. Режим DFR повторно использует тот же дистиллированный трансформер, но применяет проход пространственной детализации с генерированными ключевыми кадрами, увеличивая требования к VRAM и время выполнения. Пакет использует uv для управления зависимостями и поддерживает neighborhood attention через natten на Linux/CUDA, с фоллбэком на Triton или eager реализации на других ОС. Модели весят ~66 ГБ и требуют аутентификации Hugging Face.

Требуется GPU с достаточным VRAM (22B трансформер плюс VAE); квантование fp8-cast и оффлоад на CPU или диск снижают давление на память. Репозиторий закрыт на Hugging Face, нужен read-токен с областью gated repo. Linux с CUDA даёт самый быстрый бэкенд natten; Windows и macOS переключаются на более медленное декодирование. Дополнительных API-ключей, кроме HF auth, не указано.

// СЦЕНАРИИ ИСПОЛЬЗОВАНИЯ

Кому пригодится: ML-инженерам и исследователям для создания аудиовизуального контента

  • Создавать синхронизированные видео с речью и звуковыми эффектами по текстовому описанию
  • Генерировать продакшн-качественные клипы через DFR-режим с детализацией ключевых кадров
  • Обучать LoRA-адаптеры для дообучения модели под специфические стили или персонажей

// БЫСТРЫЙ СТАРТ

git clone https://github.com/Lightricks/LTX-2.git
cd LTX-2
uv sync --extra natten
hf auth login

Команды взяты из README репозитория — перед запуском сверьтесь с актуальной версией на GitHub.

#generative-ai#ltx#ltx-2
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

EMBEDDED ВЕКТОРНАЯ БД ДЛЯ МУЛЬТИМОДАЛЬНОГО AI★ 11947УДАЛЕНИЕ AI ВОДЯНЫХ ЗНАКОВ И МЕТАДАННЫХ★ 6403ОТКРЫТОЕ ИИ РАБОЧЕЕ МЕСТО КРЕАТОРА★ 14387МУЛЬТИМОДАЛЬНАЯ МОДЕЛЬ ПРИНЯТИЯ РЕШЕНИЙ★ 918ОТКРЫТАЯ КРЕАТИВНАЯ СТУДИЯ НА COMFYUI★ 233ПРОФЕССИОНАЛЬНЫЙ ИИ-ДВИЖОК ДЛЯ ВИЗУАЛЬНЫХ МЕДИА★ 29106

← ВЕСЬ КАТАЛОГ

Lightricks/LTX-2 — Ltx-2: дит-модель синхронного аудио и видео