📚 引言

我们提出了一种独立的、仅解码器架构的自回归模型，该模型从零开始训练，能够统一处理广泛的图像生成任务，包括文本到图像生成、图像对生成、主体驱动生成、多轮图像编辑、可控生成以及密集预测。

用户演示

架构

🔥 最新消息

[2025-08-15] 🎉🎉🎉 MindSpeed ​​MM（华为支持）原生支持 MindSpeed ​​MM 上的 Lumina-mGPT 2.0。

[2025-08-02] 🎉🎉🎉 我们在 HuggingFace 上发布了图像到图像任务的推理代码和一体化模型检查点。

[2025-07-25] 🎉🎉🎉 我们在 arXiv 上发布了技术报告。

[2025-04-03] 🎉🎉🎉 Lumina-mGPT 2.0 正式发布！

📝 开源计划

• 文本到图像 / 图像对生成推理与检查点
• 微调代码
• 技术报告
• 一体化推理与检查点

📽️ 演示示例

定性效果

与 Lumina-mGPT 和 Janus Pro 的对比

🚀 快速入门

⚙️ 安装

1. 创建 conda 环境

git clone https://github.com/Alpha-VLLM/Lumina-mGPT-2.0.git && cd Lumina-mGPT-2.0
conda create -n lumina_mgpt_2 python=3.10 -y
conda activate lumina_mgpt_2

2. 安装依赖

pip install -r requirements.txt
pip install https://github.com/Dao-AILab/flash-attention/releases/download/v2.7.4.post1/flash_attn-2.7.4.post1+cu12torch2.3cxx11abiFALSE-cp310-cp310-linux_x86_64.whl --no-build-isolation
pip install -e .

请从这个 链接 找到合适的 flash-attn 版本。

3. 下载 MoVQGAN

下载 MoVQGAN 权重，并将其放置到 lumina_mgpt/movqgan/270M/movqgan_270M.ckpt。

mkdir -p lumina_mgpt/movqgan/270M
wget -O lumina_mgpt/movqgan/270M/movqgan_270M.ckpt https://huggingface.co/ai-forever/MoVQGAN/resolve/main/movqgan_270M.ckpt

⛽ 文本到图像生成

1. 简单推理

python generate_examples/generate.py \
--model_path Alpha-VLLM/Lumina-mGPT-2.0 --save_path save_samples/ \
--cfg 4.0 --top_k 4096 --temperature 1.0 --width 768 --height 768

2. 加速推理

提供两种加速策略：推测雅可比解码（--speculative_jacobi) 和模型量化（--quant）。

python generate_examples/generate.py \
--model_path Alpha-VLLM/Lumina-mGPT-2.0 --save_path save_samples/ \
--cfg 4.0 --top_k 4096 --temperature 1.0 --width 768 --height 768 \
--speculative_jacobi --quant

我们以一台 A100 为例，提供推理时间和 GPU 内存参考：

方法	推理时间	推理 GPU 内存	描述
Lumina-mGPT 2.0	694s	80 GB	✅ 推荐
+ speculative_jacobi	324s	79.2 GB	✅ 推荐
+ speculative_jacobi & quant	304s	33.8 GB

🌟 图像到图像推理

您可以参考 sample_i2i.sh。我们不建议在图像到图像推理中使用推测雅可比。

# 可控生成
python generate_examples/generate.py \
--model_path Alpha-VLLM/Lumina-mGPT-2.0 --save_path save_samples/ \
--cfg 4.0 --top_k 4096 --温度 1.0 --宽度 512 --高度 1024 --task i2i \
--i2i_task depth --image_path "assets/depth.png" \
--image_prompt "一个橡胶户外篮球。在阳光明媚的户外球场上，它在一幅充满活力的壁画旁弹跳，在沥青地面上投下长长的影子，孩子们正热切地追逐着它。"

# 主体驱动生成
python generate_examples/generate.py \
--model_path Alpha-VLLM/Lumina-mGPT-2.0 --save_path save_samples/ \
--cfg 4.0 --top_k 4096 --温度 1.0 --宽度 512 --高度 1024 --task i2i \
--i2i_task subject --image_path "assets/subject.png" \
--image_prompt "在喧闹的城市屋顶上，日落时分，这件物品在高脚杯中闪闪发光，背景是剪影般的天际线，空气中弥漫着欢笑声和碰杯声。"

💻 微调

请参阅 TRAIN.md

🤗 检查点

模型	大小	分辨率	pth 链接	描述
Lumina-mGPT 2.0	7B	768px	7B	文本到图像
Lumina-mGPT 2.0 (Omni)	7B	768px & 512px（图像到图像）	7B-Omni	全功能

📜 致谢

感谢以下开源代码库及其优秀的工作和代码基础！

• Lumina-mGPT：通过多模态预训练实现灵活逼真的文本到图像生成
• 无需训练的推测雅可比解码加速自回归文本到图像生成
• Chameleon：混合模态早期融合基础模型

🔥 招聘信息

我们正在上海人工智能实验室的 Alpha VLLM 团队招聘实习生和全职研究人员。如果您感兴趣，请联系 alphavllm@gmail.com。

📖 BibTeX

@article{xin2025lumina,
  title={Lumina-mGPT 2.0：独立自回归图像建模},
  author={Xin, Yi and Yan, Juncheng and Qin, Qi and Li, Zhen and Liu, Dongyang and Li, Shicheng and Huang, Victor Shea-Jay and Zhou, Yupeng and Zhang, Renrui and Zhuo, Le and others},
  journal={arXiv预印本 arXiv:2507.17801},
  year={2025}
}

Lumina-mGPT 2.0 快速上手指南

Lumina-mGPT 2.0 是一个从头训练的独立自回归图像生成模型，支持文生图、图生图、主体驱动生成及多轮编辑等任务。本指南将帮助你快速配置环境并运行模型。

1. 环境准备

• 系统要求：Linux 操作系统（推荐 x86_64 架构）。
• 硬件要求：建议配备 NVIDIA GPU（显存至少 34GB+ 以支持量化加速推理，80GB+ 为最佳体验）。
• 软件依赖：
  • Python 3.10
  • Conda
  • CUDA 12.x (配合 PyTorch 2.3)

2. 安装步骤

2.1 克隆代码与创建环境

git clone https://github.com/Alpha-VLLM/Lumina-mGPT-2.0.git && cd Lumina-mGPT-2.0
conda create -n lumina_mgpt_2 python=3.10 -y
conda activate lumina_mgpt_2

2.2 安装依赖库

首先安装基础依赖，然后安装特定版本的 flash-attn，最后安装项目本身。

pip install -r requirements.txt
pip install https://github.com/Dao-AILab/flash-attention/releases/download/v2.7.4.post1/flash_attn-2.7.4.post1+cu12torch2.3cxx11abiFALSE-cp310-cp310-linux_x86_64.whl --no-build-isolation
pip install -e .

注意：请根据你的 CUDA 和 PyTorch 版本选择合适的 flash-attn wheel 包，参考 Flash Attention Releases。

2.3 下载 MoVQGAN 权重

模型需要 MoVQGAN 的权重文件才能运行，请执行以下命令下载并放置到指定目录：

mkdir -p lumina_mgpt/movqgan/270M
wget -O lumina_mgpt/movqgan/270M/movqgan_270M.ckpt https://huggingface.co/ai-forever/MoVQGAN/resolve/main/movqgan_270M.ckpt

3. 基本使用

3.1 文生图 (Text-to-Image)

基础推理

运行以下命令进行标准的文生图测试。生成的图片将保存在 save_samples/ 目录下。

python generate_examples/generate.py \
--model_path Alpha-VLLM/Lumina-mGPT-2.0 --save_path save_samples/ \
--cfg 4.0 --top_k 4096 --temperature 1.0 --width 768 --height 768

加速推理（推荐）

为了减少显存占用并提高推理速度，建议启用投机雅可比解码 (--speculative_jacobi) 和模型量化 (--quant)。

• 显存参考：开启加速与量化后，A100 显存占用可从 80GB 降至约 33.8GB，推理时间从 694s 缩短至 304s。

python generate_examples/generate.py \
--model_path Alpha-VLLM/Lumina-mGPT-2.0 --save_path save_samples/ \
--cfg 4.0 --top_k 4096 --temperature 1.0 --width 768 --height 768 \
--speculative_jacobi --quant

3.2 图生图 (Image-to-Image)

图生图任务建议使用 Lumina-mGPT 2.0 Omni 检查点。以下示例展示可控生成（如深度图转图像）和主体驱动生成。

注意：图生图任务不推荐使用 speculative_jacobi。

示例 1：可控生成 (Depth to Image)

python generate_examples/generate.py \
--model_path Alpha-VLLM/Lumina-mGPT-2.0 --save_path save_samples/ \
--cfg 4.0 --top_k 4096 --temperature 1.0 --width 512 --height 1024 --task i2i \
--i2i_task depth --image_path "assets/depth.png" \
--image_prompt "A rubber outdoor basketball. On a sunlit outdoor court, it bounces near a vibrant mural, casting a long shadow on the asphalt as children eagerly chase it."

示例 2：主体驱动生成 (Subject Driven)

python generate_examples/generate.py \
--model_path Alpha-VLLM/Lumina-mGPT-2.0 --save_path save_samples/ \
--cfg 4.0 --top_k 4096 --temperature 1.0 --width 512 --height 1024 --task i2i \
--i2i_task subject --image_path "assets/subject.png" \
--image_prompt "On a bustling city rooftop at sunset, this item gleams in a tall glass as the skyline silhouettes in the background, the air filled with laughter and clinking glasses."

3.3 模型检查点说明

• Lumina-mGPT 2.0 (7B): 适用于纯文生图任务。
• Lumina-mGPT 2.0 Omni (7B): 全能模型，支持文生图及各类图生图任务。如需运行上述图生图示例，请确保 --model_path 指向 Omni 版本的 checkpoint。