$\textbf{Lumina-T2X}$：基于流的大型扩散Transformer，实现文本到任意模态、分辨率和时长的转换

ICLR 2025 Spotlight & NeurIPS 2024

📰 新闻

• [2024-08-06] 🎉🎉🎉 我们发布了Lumina-mGPT，这是我们Lumina系列中的下一代生成模型！Lumina-mGPT是一种自回归Transformer模型，能够进行照片级逼真的图像生成以及其他视觉-语言任务，例如可控生成、多轮对话、深度/法线/分割图估计等。
• [2024-07-08] 🎉🎉🎉 Lumina-Next现已在diffusers中得到支持！感谢@yiyixuxu和@sayakpaul！HF模型仓库。
• [2024-06-26] 我们发布了使用Lumina-Next-T2I进行img2img转换的推理代码。代码 ComfyUI
• [2024-06-21] 🥰🥰🥰 Lumina-Next现在有了用于推理的Jupyter Notebook，感谢canenduru! 链接
• [2024-06-21] 我们已将Lumina-Next-SFT和Lumina-Next-T2I上传至wisemodel.cn。wisemodel仓库
• [2024-06-19] 我们发布了用于音乐生成的Lumina-T2Audio（文本到音频）代码和模型。模型
• [2024-06-17] 🚀🚀🚀 我们已经在Lumina框架中实现了对SD3的推理和训练支持（包括Dreambooth）！代码
• [2024-06-17] 🥰🥰🥰 Lumina-Next现已支持ComfyUI，感谢Kijai! 链接
• [2024-06-08] 🚀🚀🚀 我们发布了Lumina-Next-SFT模型，展示了更佳的视觉质量！模型
• [2024-06-07] 我们发布了用于音乐生成的Lumina-T2Music（文本到音乐）代码和模型。模型 演示
• [2024-06-03] 我们发布了Lumina-Next-T2I的“组合式生成”版本，该版本支持为不同区域提供多个描述性文字以实现组合式生成。模型。演示
• [2024-05-29] 我们更新了新的Lumina-Next-T2I代码和Hugging Face模型。支持2K分辨率图像生成以及时间感知的Scaled RoPE。
• [2024-05-25] 我们发布了Flag-DiT和Next-DiT的训练脚本，并报告了Next-DiT与Flag-DiT之间的对比结果。对比结果
• [2024-05-21] Lumina-Next-T2I支持更高阶的求解器。它仅需10步即可生成图像，无需任何蒸馏过程。请尝试我们的演示演示。
• [2024-05-18] 我们发布了Lumina-T2I 5B的训练脚本。README
• [2024-05-16] ❗❗❗ 我们已将.pth权重转换为.safetensors格式。请拉取最新代码，并使用demo.py进行推理。
• [2024-05-14] Lumina-Next现在支持简单的文本到音乐生成（示例）、基于文本条件的高分辨率（1024*4096）全景图生成（示例），以及基于标签条件的3D点云生成（示例）。
• [2024-05-13] 我们提供了示例，展示了Lumina-T2X支持多语言提示的能力，甚至可以处理包含表情符号的提示。
• [2024-05-12] 我们激动地发布了Lumina-Next-T2I模型（检查点），该模型以2B Next-DiT模型作为骨干网络，并采用Gemma-2B作为文本编码器。请在demo1、demo2和demo3上试用。更多详情请参阅论文Lumina-Next。
• [2024-05-10] 我们在arXiv上发布了技术报告。
• [2024-05-09] 我们发布了Lumina-T2A（文本到音频）的演示。示例
• [2024-04-29] 我们发布了5B模型的检查点以及基于该模型构建的文本到图像生成演示。
• [2024-04-25] 支持任意长宽比的720P视频生成。示例
• [2024-04-19] 发布了演示示例。
• [2024-04-05] 发布了Lumina-T2I的代码。
• [2024-04-01] 我们发布了用于文本到图像生成的Lumina-T2I初始版本。

🚀 快速入门

[!警告] 由于我们频繁更新代码，请务必拉取最新代码：

git pull origin main

快速演示

我们已在Hugging Face Diffusers中支持Lumina-Next。

[!注] 在Diffusers发布新版本之前，您应先安装其开发版（main分支）。

pip install git+https://github.com/huggingface/diffusers

然后您可以尝试以下代码：

from diffusers import LuminaText2ImgPipeline
import torch

pipeline = LuminaText2ImgPipeline.from_pretrained(
"/mnt/hdd1/xiejunlin/checkpoints/Lumina-Next-SFT-diffusers", torch_dtype=torch.bfloat16
).to("cuda")

image = pipeline(prompt="一位年轻女子的上半身，身穿维多利亚时代的服装，戴着黄铜护目镜和皮质绑带。背景是工业革命时期的景象，天空弥漫着烟雾，周围矗立着高大的金属建筑", height=1024, width=768).images[0]

有关Lumina框架的训练和推理的更多详细信息，请参阅Lumina-T2I、Lumina-Next-T2I和Lumina-Next-T2I-Mini。我们强烈建议您使用**Lumina-Next-T2I-Mini**进行训练和推理，它是功能齐全但极其精简的Lumina-Next-T2I版本。

GUI 演示

为了让各位快速上手使用我们的模型，我们构建了多个版本的 GUI 演示站点。

Lumina-Next-T2I 模型演示：

图像生成：[node1] [node2] [node3]

图像组合生成：[node1]

音乐生成：[node1]

安装

作为库使用 Lumina-T2X 时，请在您的环境中运行以下安装命令：

pip install git+https://github.com/Alpha-VLLM/Lumina-T2X

开发

如果您想参与代码贡献，应运行以下命令来安装 pre-commit 库：

git clone https://github.com/Alpha-VLLM/Lumina-T2X

cd Lumina-T2X
pip install -e ".[dev]"
pre-commit install
pre-commit

📑 开源计划

• Lumina-Text2Image（演示✅、训练✅、推理✅、检查点✅、Diffusers✅）
• Lumina-Text2Video（演示✅）
• Lumina-Text2Music（演示✅、推理✅、检查点✅）
• Lumina-Text2Audio（演示✅、推理✅、检查点✅）

📜 内容索引

• $\textbf{Lumina-T2X}$：通过基于流的大型扩散 Transformer 将文本转换为任意模态、分辨率和时长
  • 📰 新闻
  • 🚀 快速入门
    • GUI 演示
      • Lumina-Next-T2I 模型演示：
    • 安装
    • 开发
  • 📑 开源计划
  • 📜 内容索引
  • 简介
  • 📽️ 演示示例
    • Lumina-Next-SFT 的演示
    • Lumina-T2I 的演示
      • 全景生成
    • 文本转视频生成
    • 文本转 3D 生成
      • 点云生成
    • 文本转音频生成
    • 文本转音乐生成
    • 多语言生成
  • ⚙️ 多样化配置
  • 贡献者
  • 📄 引用

简介

我们隆重推出 $\textbf{Lumina-T2X}$ 系列，这是一系列基于文本条件的扩散 Transformer（DiT），能够将文本描述转化为生动的图像、动态视频、精细的多视角 3D 图像以及合成语音。Lumina-T2X 的核心是 基于流的大型扩散 Transformer（Flag-DiT）——一个强大的引擎，支持高达 70 亿参数，并将序列长度扩展至 128,000 个标记。受 Sora 启发，Lumina-T2X 在时空潜在标记空间中整合了图像、视频、3D 对象的多视角视图以及语音频谱图，并且可以生成 任意分辨率、宽高比和时长 的输出。

🌟 特点：

• 基于流的大型扩散 Transformer（Flag-DiT）：Lumina-T2X 采用了 流匹配 的框架，并配备了 RoPE、RMSNorm 和 KQ-norm 等多项先进技术，展现出更快的训练收敛速度、稳定的训练动态以及简化的流程。
• 单一框架内支持任意模态、分辨率和时长：
  1. $\textbf{Lumina-T2X}$ 可以 将任何模态，包括图像、视频、3D 对象的多视角视图以及频谱图，编码为统一的 1 维标记序列，且不受分辨率、宽高比和时间长度的限制。
  2. 通过引入 [nextline] 和 [nextframe] 标记，我们的模型能够 支持分辨率外推，即生成训练过程中未出现过的域外分辨率的图像或视频，例如从 768×768 像素扩展到 1792×1792 像素。
• 较低的训练资源需求：根据我们的经验观察，使用更大规模的模型、更高分辨率的图像以及更长时间的视频片段，可以 显著加快扩散 Transformer 的收敛速度。此外，通过精心筛选具有高审美价值的画面和详细描述的文本-图像、文本-视频配对数据，我们的 $\textbf{Lumina-T2X}$ 模型能够在计算资源消耗较少的情况下，生成高分辨率图像和连贯的视频。值得注意的是，配备 5B Flag-DiT 和 7B LLaMA 作为文本编码器的默认 Lumina-T2I 配置，仅需 Pixelart-$\alpha$ 所需计算资源的 35%。

📽️ 演示示例

Lumina-Next-SFT 的演示

视觉字谜的演示

Lumina-T2I 的演示

全景生成

文本转视频生成

720P 视频：

提示：瀑布从悬崖倾泻而下，注入宁静湖泊的壮丽美景。

https://github.com/Alpha-VLLM/Lumina-T2X/assets/54879512/17187de8-7a07-49a8-92f9-fdb8e2f5e64c

https://github.com/Alpha-VLLM/Lumina-T2X/assets/54879512/0a20bb39-f6f7-430f-aaa0-7193a71b256a

提示：一位时尚女性走在东京街头，周围是温暖明亮的霓虹灯和动态的城市招牌。她身穿黑色皮夹克、红色长裙和黑色靴子，手提黑色手袋，戴着太阳镜和红唇膏。她步伐自信而随意。街道湿润且反光，映照出五彩斑斓的灯光。许多行人来来往往。

https://github.com/Alpha-VLLM/Lumina-T2X/assets/54879512/7bf9ce7e-f454-4430-babe-b14264e0f194

360P 视频：

https://github.com/Alpha-VLLM/Lumina-T2X/assets/54879512/d7fec32c-3655-4fd1-aa14-c0cb3ace3845

文本到3D生成

https://github.com/Alpha-VLLM/Lumina-T2X/assets/54879512/cd061b8d-c47b-4c0c-b775-2cbaf8014be9

点云生成

文本到音频生成

[!Note] 注意：将鼠标悬停在播放栏上，点击播放栏上的音频按钮以取消静音。

提示词: 半自动枪声响起，伴有轻微回声

生成音频:

https://github.com/Alpha-VLLM/Lumina-T2X/assets/54879512/25f2a6a8-0386-41e8-ab10-d1303554b944

真实音频:

https://github.com/Alpha-VLLM/Lumina-T2X/assets/54879512/6722a68a-1a5a-4a44-ba9c-405372dc27ef

提示词: 电话铃声响起

生成音频:

https://github.com/Alpha-VLLM/Lumina-T2X/assets/54879512/7467dd6d-b163-4436-ac5b-36662d1f9ddf

真实音频:

https://github.com/Alpha-VLLM/Lumina-T2X/assets/54879512/703ea405-6eb4-4161-b5ff-51a93f81d013

提示词: 发动机运转后转速升高，轮胎发出尖锐的摩擦声

生成音频:

https://github.com/Alpha-VLLM/Lumina-T2X/assets/54879512/5d9dd431-b8b4-41a0-9e78-bb0a234a30b9

真实音频:

https://github.com/Alpha-VLLM/Lumina-T2X/assets/54879512/9ca4af9e-cee3-4596-b826-d6c25761c3c1

提示词: 鸟鸣声、昆虫嗡嗡声以及户外环境音效

生成音频:

https://github.com/Alpha-VLLM/Lumina-T2X/assets/54879512/b776aacb-783b-4f47-bf74-89671a17d38d

真实音频:

https://github.com/Alpha-VLLM/Lumina-T2X/assets/54879512/a11333e4-695e-4a8c-8ea1-ee5b83e34682

文本到音乐生成

[!Note] 注意：将鼠标悬停在播放栏上，点击播放栏上的音频按钮以取消静音。 更多详情请参阅这里

提示词: 一首充满电光火石般活力的斯卡曲风，突出萨克斯管即兴演奏、充满能量的电吉他与原声鼓、活泼的打击乐、富有灵魂的键盘声、律动十足的电贝斯，以及快节奏所散发出的振奋人心的能量。

生成音乐:

https://github.com/Alpha-VLLM/Lumina-T2X/assets/86041420/fef8f6b9-1e77-457e-bf4b-fb0cccefa0ec

提示词: 一首高能量的合成器摇滚/流行歌曲，配有快速的原声鼓、气势恢宏的铜管乐与弦乐部分，以及令人兴奋的合成器主旋律，营造出一种冒险的氛围。

生成音乐:

https://github.com/Alpha-VLLM/Lumina-T2X/assets/86041420/1f796046-64ab-44ed-a4d8-0ebc0cfc484f

提示词: 一首快节奏的电子流行歌曲，融合了数字鼓、数字贝斯和合成器铺底音色。

生成音乐:

https://github.com/Alpha-VLLM/Lumina-T2X/assets/86041420/4768415e-436a-4d0e-af53-bf7882cb94cd

提示词: 一首中等节奏的数字键盘曲，背景伴奏带有爵士风格，包含数字鼓、钢琴、电贝斯、小号和原声吉他。

生成音乐:

https://github.com/Alpha-VLLM/Lumina-T2X/assets/86041420/8994a573-e776-488b-a86c-4398a4362398

提示词: 这首低质量民谣作品采用了律动十足的木制打击乐、贝斯、钢琴和长笛旋律，同时辅以持续的弦乐和闪烁的沙锤声，营造出热情、欢快且愉悦的氛围。

生成音乐:

https://github.com/Alpha-VLLM/Lumina-T2X/assets/86041420/e0b5d197-589c-47d6-954b-b9c1d54feebb

多语言生成

我们展示了Lumina-Next-2B的三项多语言能力。

根据中文古诗生成图像:

使用多语言提示词生成图像:

使用表情符号生成图像:

⚙️ 多样化配置

我们支持多种配置，包括文本编码器、不同参数规模的DiT模型、推理方法以及VAE编码器。此外，我们还提供1D-RoPE、图像增强等功能。

贡献者

代码开发与维护的核心成员：

Dongyang Liu、Le Zhuo、Junlin Xie、Ruoyi Du、Peng Gao

📄 引用

@article{gao2024lumina-next,
  title={Lumina-Next：借助Next-DiT使Lumina-T2X更强大、更快},
  author={Zhuo, Le and Du, Ruoyi and Han, Xiao and Li, Yangguang and Liu, Dongyang and Huang, Rongjie and Liu, Wenze and others},
  journal={arXiv预印本 arXiv:2406.18583},
  year={2024}
}

@article{gao2024lumin-t2x,
  title={Lumina-T2X：通过基于流的大规模扩散Transformer将文本转换为任意模态、分辨率和时长},
  author={Gao, Peng and Zhuo, Le and Liu, Chris and Du, Ruoyi and Luo, Xu and Qiu, Longtian and Zhang, Yuhang and others},
  journal={arXiv预印本 arXiv:2405.05945},
  year={2024}
}

Lumina-T2X 快速上手指南

Lumina-T2X 是一个基于流匹配（Flow-based）的大型扩散 Transformer 模型，能够将文本转换为任意模态（图像、视频、音频、3D 点云等）、分辨率和时长。本指南将帮助您快速在本地部署并运行该模型。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• Python: 3.8 或更高版本
• GPU: NVIDIA GPU，显存建议 16GB 以上（运行 2B 模型），支持 CUDA 11.8+
• PyTorch: 2.0+ (需与 CUDA 版本匹配)

前置依赖安装

建议使用虚拟环境（如 conda 或 venv）以避免依赖冲突。

# 创建并激活 conda 环境 (示例)
conda create -n lumina python=3.10 -y
conda activate lumina

# 安装 PyTorch (请根据实际 CUDA 版本调整，此处以 CUDA 11.8 为例)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

# 安装其他基础依赖
pip install transformers accelerate safetensors einops timm

提示：国内用户可使用清华源加速安装： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

2. 安装步骤

Lumina-T2X 现已支持 Hugging Face diffusers 库，这是最简便的集成方式。

步骤一：克隆最新代码

由于项目更新频繁，请务必拉取最新代码：

git clone https://github.com/Alpha-VLLM/Lumina-T2X.git
cd Lumina-T2X
git pull origin main

步骤二：安装 Diffusers 开发版

目前需要安装 diffusers 的 main 分支以支持 Lumina-Next 模型：

pip install git+https://github.com/huggingface/diffusers

国内加速方案：如果直接连接 GitHub 较慢，可尝试先下载 diffusers 源码包后本地安装，或使用镜像站配置。

步骤三：获取模型权重

您可以从 Hugging Face 或国内镜像平台（如 WiseModel）下载模型。

选项 A：Hugging Face (国际) 模型会自动下载，或手动下载 Alpha-VLLM/Lumina-Next-SFT-diffusers。

选项 B：WiseModel (国内推荐) 访问 WiseModel 模型页 下载权重文件至本地目录。

3. 基本使用

以下是最简单的文生图（Text-to-Image）推理示例。

Python 推理脚本

创建一个名为 demo.py 的文件，填入以下代码：

from diffusers import LuminaText2ImgPipeline
import torch

# 指定本地模型路径或 Hugging Face 模型 ID
# 如果使用本地下载的路径，请修改为绝对路径，例如："/path/to/Lumina-Next-SFT-diffusers"
model_path = "Alpha-VLLM/Lumina-Next-SFT-diffusers"

# 加载管道
pipeline = LuminaText2ImgPipeline.from_pretrained(
    model_path, 
    torch_dtype=torch.bfloat16
).to("cuda")

# 定义提示词
prompt = "Upper body of a young woman in a Victorian-era outfit with brass goggles and leather straps. Background is a steampunk workshop, highly detailed, 8k resolution."

# 生成图像
image = pipeline(
    prompt=prompt,
    num_inference_steps=28, # 默认步数，Lumina-Next 支持高阶求解器，可减少步数
    guidance_scale=4.5
).images[0]

# 保存结果
image.save("output_lumina.png")
print("Image generated successfully!")

运行脚本

python demo.py

进阶功能简述

• 高分辨率生成：Lumina-Next-T2I 支持 2K 分辨率及时间感知 RoPE。
• 多模态支持：同一框架下还支持文生音乐 (Lumina-T2Music)、文生音频 (Lumina-T2Audio) 及全景图生成，只需切换对应的 Pipeline 和模型权重。
• ComfyUI 支持：如需图形化界面，可安装 ComfyUI-LuminaWrapper 插件。