📚 引言

我们推出了Lumina-DiMOO，这是一种用于无缝多模态生成与理解的全能基础模型。Lumina-DiMOO以四项关键创新而著称：

• 统一的离散扩散架构： Lumina-DiMOO通过采用完全离散的扩散建模来处理各种模态的输入和输出，从而区别于以往的统一模型。

• 多功能的多模态能力： Lumina-DiMOO支持广泛的多模态任务，包括文本到图像的生成（允许任意分辨率和高分辨率）、图像到图像的生成（例如图像编辑、主体驱动的生成和图像修复等），以及先进的图像理解。

• 更高的采样效率： 与之前的AR或混合AR-扩散范式相比，Lumina-DiMOO展现出卓越的采样效率。此外，我们设计了一种定制的缓存方法，可将采样速度进一步提升2倍。

• 卓越的性能： Lumina-DiMOO在多个基准测试中达到了最先进的水平，超越了现有的开源多模态统一模型，为该领域树立了新的标准。

🔥 新闻

• [2026-02-26] 🎉 我们的dMLLM-TTS已被CVPR 2026接收。
• [2025-12-23] 我们为扩散MLLM设计了一种独特的测试时缩放算法。更多详情请参见ArXiv (dMLLM-TTS)。
• [2025-11-27] 我们发布了使用VLMEvalKit的评估代码。
• [2025-10-24] 🎉 我们发布了一份指南，供希望使用掩码范式构建世界的人参考，更多详情请参见ArXiv和Github。
• [2025-10-21] 🎉 我们增加了对Diffusers和ComfyUI的支持。
• [2025-10-06] 训练代码已发布。
• [2025-09-25] 我们发布了技术报告。
• [2025-09-20] 🎉 在最新的UniGenBench排行榜（由腾讯混元团队维护）中，Lumina-DiMOO的生成评估在所有开源统一模型中排名第一🥇。
• [2025-09-12] 我们开源了图像修复与外推代码。
• [2025-09-11] 我们开源了基于最大对数似然值的缓存方案，使采样速度提升了2倍。
• [2025-09-10] 🎉 我们发布了Lumina-DiMOO的初始版本，其中包括：
  • 🎯 在HuggingFace上的模型检查点！
  • 🎯 文本到图像及图像到图像生成推理代码！
  • 🎯 图像理解推理代码！
  • 🎯 项目页面上的网站与演示！ 项目页面

📝 开源计划

• 图像修复与外推代码
• 基于最大对数似然值的快速采样缓存
• Diffusers和ComfyUI
• 基准评估代码
• 微调代码
• 技术报告
• 测试时缩放

📽️ 定性结果

以下是我们与其他模型的对比生成结果。更多可视化结果，请参阅我们的项目页面。

文本到图像比较

图像编辑比较

可控与主体驱动生成比较

图像修复与外推

📊 定量性能

GenEval基准测试

DPG基准测试

OneIG-EN基准测试

TIIF基准测试

图像到图像基准测试

图像理解基准测试

🚀 采样速度分析

• 由于文本生成是以块为单位进行的，而图像生成则采用单一的全局解码步骤，因此其速度既受块数影响，也受步数影响。所以，图像理解的速度提升不如图像生成那样显著。

• Lumina-DiMOO设置： 对于图像生成，我们采样64步。对于图像理解，我们将块长度设为256，采样步数设为128。

📌 快速入门

⚙️ 安装

1. 创建一个conda环境

git clone https://github.com/Alpha-VLLM/Lumina-DiMOO.git && cd Lumina-DiMOO
conda create -n lumina_dimoo python=3.10 -y
conda activate lumina_dimoo

2. 安装依赖

pip install -r requirements.txt

🧨 如何微调Lumina-DiMOO

第一步：预先提取训练图像的离散编码。

经过特定处理后的最终格式可参考示例json文件assets/mmu_sample.json和assets/t2i_sample.json。

bash pre_tokenizer/run_pre_token.sh

第二步：训练Lumina-DiMOO模型。

bash train/train.sh

🚗 文本到图像生成推理

1. 普通采样

python inference/inference_t2i.py\
    --checkpoint Alpha-VLLM/Lumina-DiMOO \
    --prompt "一张引人注目的照片，展示木制厨房桌上的一杯橙汁，捕捉了一个俏皮的瞬间。橙汁从杯中飞溅而出，在杯子上方以奇幻、漩涡状的字体拼写出‘Smile’一词。背景柔和地虚化，露出温馨舒适的家常厨房，光线温暖而惬意。" \
    --height 768 \
    --width 1536 \
    --timesteps 64 \
    --cfg_scale 4.0 \
    --seed 65513 \
    --vae_ckpt Alpha-VLLM/Lumina-DiMOO \
    --output_dir output/results_text_to_image

2. DDP 采样

为了支持大规模采样和测试，我们提供了额外的 DDP 采样脚本，支持多 GPU 并行采样。

torchrun --nproc_per_node=8 inference/inference_t2i_ddp.py \
    --checkpoint Alpha-VLLM/Lumina-DiMOO \
    --prompt_path /path/to/prompts.jsonl \
    --height 1024 \
    --width 1024 \
    --timesteps 64 \
    --cfg_scale 4.0 \
    --vae_ckpt Alpha-VLLM/Lumina-DiMOO \
    --output_dir output/results_image_to_image_ddp \
    --output_json output/results_image_to_image_ddp/results.json

3. 使用缓存加速采样

• 添加 --use-cache 参数，可通过基于最大对数似然的缓存（ML-Cache）加速采样。效率与质量之间的权衡可以通过以下参数进行调整：cache_ratio（取值范围为 (0,1)，值越大速度越快）、warmup_ratio（取值范围为 [0,1)，值越小速度越快），以及 refresh_interval（取值范围为 (1, timesteps-int(warmup_ratio*timesteps)-1]，值越大速度越快）。

python inference/inference_t2i.py\
    --checkpoint Alpha-VLLM/Lumina-DiMOO \
    --prompt "一张引人注目的照片，展示木制厨房桌上的一杯橙汁，捕捉了一个俏皮的瞬间。橙汁从杯中飞溅而出，在杯子上方以奇幻、漩涡状的字体拼写出‘Smile’一词。背景柔和地虚化，露出温馨舒适的家常厨房，光线温暖而惬意。" \
    --height 768 \
    --width 1536 \
    --timesteps 64 \
    --cfg_scale 4.0 \
    --seed 65513 \
    --vae_ckpt Alpha-VLLM/Lumina-DiMOO \
    --output_dir output/results_text_to_image_usecache \
    --use-cache \
    --cache_ratio 0.9 \
    --warmup_ratio 0.3 \
    --refresh_interval 5

• 我们提供了一块 A800 显卡上的推理时间和显存占用作为参考：

方法	推理时间	推理显存
Lumina-DiMOO	58.2s	38.9 GB
+ ML-Cache	32.2s	45.9 GB

🌟 图像到图像推理

1. 可控生成：“hed_control”、“depth_control”、“openpose_control”、“subject_driven”。

python inference/inference_i2i.py \
    --checkpoint Alpha-VLLM/Lumina-DiMOO \
    --prompt "一个功能性的木质打印机支架。它坐落在繁华都市街道的一堵砖墙旁，行人匆匆而过，被复古街灯温暖的光芒照亮。" \
    --image_path examples/example_2.jpg \
    --edit_type depth_control \
    --timesteps 64 \
    --cfg_scale 2.5 \
    --cfg_img 4.0 \
    --vae_ckpt Alpha-VLLM/Lumina-DiMOO \
    --output_dir output/results_image_to_image

2. 主体驱动生成。

python inference/inference_i2i.py \
    --checkpoint Alpha-VLLM/Lumina-DiMOO \
    --prompt "一种浓郁香醇的黑色饮品。在黄昏时分的喧嚣都市街头拍摄，该物品放置于露天咖啡馆的桌面上，城市灯光开始闪烁，路人熙熙攘攘，气氛热闹非凡。" \
    --image_path examples/example_3.jpg \
    --edit_type subject_driven \
    --timesteps 64 \
    --cfg_scale 2.5 \
    --cfg_img 4.0 \
    --vae_ckpt Alpha-VLLM/Lumina-DiMOO \
    --output_dir output/results_image_to_image

3. 图像编辑：“edit_add”、“edit_remove”、“edit_replace”、“edit_background”、“edit_text_transfer”。

python inference/inference_i2i.py \
    --checkpoint Alpha-VLLM/Lumina-DiMOO \
    --prompt "在图像的右中部添加一座米色小屋，带有棕色装饰条和中央镶嵌菱形图案的双开门，占据画面超过三分之一的空间。" \
    --image_path examples/example_4.png \
    --edit_type edit_add \
    --timesteps 64 \
    --cfg_scale 2.5 \
    --cfg_img 4.0 \
    --vae_ckpt Alpha-VLLM/Lumina-DiMOO \
    --output_dir output/results_image_to_image

4. 风格迁移（以一张图片作为风格参考）

python inference/inference_i2i.py \
    --checkpoint Alpha-VLLM/Lumina-DiMOO \
    --prompt "将当前图像转换为所提供图片的风格。" \
    --image_path examples/example_5.png \
    --ref_image_path examples/example_5_style.png \
    --edit_type image_ref_transfer \
    --timesteps 64 \
    --cfg_scale 2.5 \
    --cfg_img 4.0 \
    --vae_ckpt Alpha-VLLM/Lumina-DiMOO \
    --output_dir output/results_image_to_image

5. 密集预测：“canny_pred”、“hed_pred”、“depth_pred”、“openpose_pred”、“canny_control”。

python inference/inference_i2i.py \
    --checkpoint Alpha-VLLM/Lumina-DiMOO \
    --prompt "根据图像生成 Canny 边缘图。" \
    --image_path examples/example_1.png \
    --edit_type canny_pred \
    --timesteps 64 \
    --cfg_scale 2.5 \
    --cfg_img 4.0 \
    --vae_ckpt Alpha-VLLM/Lumina-DiMOO \
    --output_dir output/results_image_to_image

🏃 图像修复与扩展推理

1. 图像修复

python inference/inference_t2i.py\
    --checkpoint Alpha-VLLM/Lumina-DiMOO \
    --prompt "保时捷展厅。请在车后方的墙上添加一个保时捷标志。" \
    --painting_mode inpainting \
    --painting_image examples/example_8.png \
    --mask_h_ratio 0.5 \
    --mask_w_ratio 0.5 \
    --timesteps 64 \
    --cfg_scale 4.0 \
    --seed 65513 \
    --vae_ckpt Alpha-VLLM/Lumina-DiMOO \
    --output_dir output/results_text_to_image

2. 图像扩展

python inference/inference_t2i.py\
    --checkpoint Alpha-VLLM/Lumina-DiMOO \
    --prompt "一张照片，展现淡金色的月亮，部分被纤细的卷云遮掩，主宰着壮丽的黄昏天空。月光柔和地洒在下方宁静的湖面上，形成波光粼粼的镜面效果；岸边一艘小巧的木船轻轻摇曳。高大古老的松树环绕着湖泊，枝干如骨骼般伸向天空，低垂的薄雾弥漫其间，柔化了月光，增添了一丝静谧的神秘感。整个场景笼罩在柔和而清冷的光线中，营造出空灵迷人的氛围。" \
    --painting_mode outpainting \
    --painting_image examples/example_7.png \
    --mask_h_ratio 1 \
    --mask_w_ratio 0.2 \
    --timesteps 64 \
    --cfg_scale 4.0 \
    --seed 65513 \
    --vae_ckpt Alpha-VLLM/Lumina-DiMOO \
    --output_dir output/results_text_to_image

⚡️ 图像理解推理

python inference/inference_mmu.py \
    --checkpoint Alpha-VLLM/Lumina-DiMOO \
    --prompt "请描述这张图片。" \
    --image_path examples/example_6.jpg \
    --steps 128 \
    --gen_length 128 \
    --block_length 32 \
    --vae_ckpt Alpha-VLLM/Lumina-DiMOO \
    --output_dir output/outputs_text_understanding

🏆 基准评测

我们使用 OpenCompass 提供的 VLMEvalKit 来对 Lumina_DiMOO 进行多基准测试评估。

1. 准备工作

进入 VLMEvalKit 目录并安装所需的依赖：

cd VLMEvalKit
pip install -r requirements.txt

⚠️ 注意事项: 我们使用一个大语言模型作为评判标准来匹配答案。在运行评测之前，您需要编辑 VLMEvalKit/.env 文件，填写您的 OPENAI_API_KEY 和 OPENAI_API_BASE。

2. 支持的基准

我们支持以下 5 个基准的评测。请在命令参数中使用对应的 数据名称：

基准	数据名称 (--data)
POPE	POPE
MME	MME
MMBench	MMBench_DEV_EN
SEEDBench	SEEDBench_IMG
MMMU	MMMU_DEV_VAL

3. 运行评测

您可以使用单 GPU 或多 GPU 来进行评测。

单 GPU 评测:

python3 run.py --data MMMU_DEV_VAL --model Lumina_DiMOO --verbose

多 GPU 评测（8 即）:

torchrun --nproc-per-node=8 --master_port=29500 run.py \
    --data MMMU_DEV_VAL \
    --model Lumina_DiMOO \
    --verbose

📜 致谢

本工作还得到了 MindSpeed MM 的支持与实现。MindSpeed MM 是华为计算产品线开发和维护的一个开源大规模多模态模型训练框架，专为分布式训练设计。该框架针对华为 Ascend AI 芯片进行了特别优化，能够全面支持分布式训练，并适用于广泛的多模态任务。

📖 BibTeX

@article{xin2025lumina,
  title={Lumina-DiMOO：一种用于多模态生成与理解的全能扩散型大型语言模型},
  author={Xin, Yi 和 Qin, Qi 和 Luo, Siqi 和 Zhu, Kaiwen 和 Yan, Juncheng 和 Tai, Yan 和 Lei, Jiayi 和 Cao, Yuewen 和 Wang, Keqi 和 Wang, Yibin 等},
  journal={arXiv 预印本 arXiv:2510.06308},
  year={2025}
}

@article{xin2025dmllm,
  title={dMLLM-TTS：扩散型多模态大型语言模型的自验证高效测试时缩放},
  author={Xin, Yi 和 Luo, Siqi 和 Qin, Qi 和 Chen, Haoxing 和 Zhu, Kaiwen 和 Zhang, Zhiwei 和 He, Yangfan 和 Zhang, Rongchao 和 Bai, Jinbin 和 Cao, Shuo 等},
  journal={arXiv 预印本 arXiv:2512.19433},
  year={2025}
}

Lumina-DiMOO 快速上手指南

环境准备

• 系统要求：支持 Linux 或 macOS 操作系统。
• 前置依赖：
  • Python 3.10
  • PyTorch（建议使用 2.0+ 版本）
  • CUDA（根据 GPU 型号选择合适的版本，推荐使用 11.8 或以上）

建议使用国内镜像源加速安装，例如：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 创建 Conda 环境

git clone https://github.com/Alpha-VLLM/Lumina-DiMOO.git && cd Lumina-DiMOO
conda create -n lumina_dimoo python=3.10 -y
conda activate lumina_dimoo

2. 安装依赖

pip install -r requirements.txt

基本使用

文本到图像生成（最简单示例）

python inference/inference_t2i.py \
    --checkpoint Alpha-VLLM/Lumina-DiMOO \
    --prompt "A striking photograph of a glass of orange juice on a wooden kitchen table, capturing a playful moment." \
    --height 768 \
    --width 1536 \
    --timesteps 64 \
    --cfg_scale 4.0 \
    --seed 65513 \
    --vae_ckpt Alpha-VLLM/Lumina-DiMOO \
    --output_dir output/results_text_to_image