🤗 HuggingFace   |   🤖 ModelScope   |    📑 研究论文    |    📑 博客    |    🤗 演示   

简介

我们非常高兴地推出Qwen-Image-Layered，这是一款能够将图像分解为多个RGBA图层的模型。这种分层表示赋予了图像内在的可编辑性：每个图层都可以独立操作，而不会影响其他内容。同时，这种分层表示也自然支持高保真度的基本操作，例如调整大小、重新定位和重新着色。通过将语义或结构组件物理上隔离到不同的层中，我们的方法实现了高质量且一致的编辑效果。

最新消息

• 2025年12月22日：您可以在Huggingface Spaces和Modelscope Studio上试用Qwen-Image-Layered。
• 2025年12月19日：我们发布了Qwen-Image-Layered的权重！请访问Huggingface和ModelScope查看！
• 2025年12月19日：我们正式发布了Qwen-Image-Layered！更多详情请参阅我们的博客！
• 2025年12月18日：我们在Arxiv上发表了我们的研究论文！

[!注意]

• 文本提示旨在描述输入图像的整体内容——包括可能被部分遮挡的元素（例如，您可以指定前景物体后面隐藏的文字）。它并非用于显式控制单个层的语义内容。
• 发布的权重是专门为图像到多RGBA图层分解任务进行微调的。因此，尽管该模型支持文本条件下的推理，但在文本到多RGBA图层生成方面的表现较为有限。

快速入门

1. 确保您的transformers版本≥4.51.3（支持Qwen2.5-VL）。

2. 安装最新版本的diffusers：

pip install git+https://github.com/huggingface/diffusers
pip install python-pptx
pip install psd-tools

from diffusers import QwenImageLayeredPipeline
import torch
from PIL import Image

pipeline = QwenImageLayeredPipeline.from_pretrained("Qwen/Qwen-Image-Layered")
pipeline = pipeline.to("cuda", torch.bfloat16)
pipeline.set_progress_bar_config(disable=None)

image = Image.open("asserts/test_images/1.png").convert("RGBA")
inputs = {
    "image": image,
    "generator": torch.Generator(device='cuda').manual_seed(777),
    "true_cfg_scale": 4.0,
    "negative_prompt": " ",
    "num_inference_steps": 50,
    "num_images_per_prompt": 1,
    "layers": 4,
    "resolution": 640,      # 使用不同的分辨率桶（640、1024）来确定分辨率。对于此版本，建议使用640
    "cfg_normalize": True,  # 是否启用cfg归一化。
    "use_en_prompt": True,  # 如果用户未提供说明文字，则自动使用英文说明
}

with torch.inference_mode():
    output = pipeline(**inputs)
    output_image = output.images[0]

for i, image in enumerate(output_image):
    image.save(f"{i}.png")

部署Qwen-Image-Layered

以下脚本将启动一个基于Gradio的Web界面，您可以在其中对图像进行分层分解，并将各层导出为pptx、zip和psd文件，以便灵活编辑和移动这些层。

python src/app.py

分解完成后，您可能希望编辑特定的图层。以下脚本将启动一个基于Gradio的Web界面，您可以在其中使用Qwen-Image-Edit对具有透明度的图像进行编辑。

python src/tool/edit_rgba_image.py

在对各个分解后的层进行编辑后，您可以使用以下脚本将其合并成一张新的图像。请务必按照顺序上传图层——从底层到顶层。

python src/tool/combine_layers.py

vLLM-Omni

vLLM-Omni现已支持Qwen-Image-Layered。有关最新详情，请参阅配方。

展示

分层分解的应用

给定一张图像，Qwen-Image-Layered可以将其分解为若干个RGBA图层：

分解后，编辑仅作用于目标层，使其与其他内容物理隔离，从而从根本上保证了编辑的一致性。

例如，我们可以为第一层重新着色，而保持其他内容不变：

我们还可以将第二层中的女孩替换为男孩（目标层使用Qwen-Image-Edit进行编辑）：

在这里，我们将文字修改为“Qwen-Image”（目标层使用Qwen-Image-Edit进行编辑）：

此外，分层结构还自然支持基本操作。例如，我们可以干净利落地删除不需要的对象：

我们也可以在不发生变形的情况下调整对象的大小：

在完成图层分解后，我们可以自由地在画布内移动对象：

灵活且迭代的分解

Qwen-Image-Layered并不局限于固定的图层数量。该模型支持可变数量的图层分解。例如，我们可以根据需要将图像分解为3层或8层：

此外，分解还可以递归进行：任何一层都可以进一步分解，从而实现无限次分解。

许可协议

Qwen-Image-Layered采用Apache 2.0许可证授权。

引用

如果您觉得我们的工作有用，我们诚挚地鼓励您引用我们的研究成果。

@misc{yin2025qwenimagelayered,
      title={Qwen-Image-Layered：通过图层分解实现内在可编辑性}, 
      author={尹盛明, 张泽凯, 唐哲成, 高凯元, 徐晓, 严坤, 李嘉豪, 陈一磊, 陈宇翔, 沈向洋, 尼礼伦, 周景仁, 林俊阳, 吴晨飞},
      year={2025},
      eprint={2512.15603},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2512.15603}, 
}

Qwen-Image-Layered 快速上手指南

Qwen-Image-Layered 是一款能够将图像分解为多个 RGBA 图层的 AI 模型。通过这种分层表示，用户可以独立编辑每个图层（如调整大小、重新定位、重新着色），而不会影响其他内容，从而实现高保真且一致的图像编辑。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux / Windows / macOS
• Python: 建议 Python 3.10+
• GPU: 推荐使用支持 CUDA 的 NVIDIA 显卡（显存建议 16GB 以上以获得最佳体验）
• 核心依赖:
  • transformers >= 4.51.3 (需支持 Qwen2.5-VL)
  • diffusers (最新开发版)
  • torch (支持 bfloat16)

安装步骤

请依次执行以下命令安装必要的依赖库。为了获取最新功能，diffusers 建议直接从 GitHub 安装源码版本。

# 升级 transformers 以支持 Qwen2.5-VL
pip install -U "transformers>=4.51.3"

# 安装最新版 diffusers
pip install git+https://github.com/huggingface/diffusers

# 安装辅助工具库（用于导出 PPTX 和 PSD 文件）
pip install python-pptx
pip install psd-tools

提示：国内用户若下载速度较慢，可添加 -i https://pypi.tuna.tsinghua.edu.cn/simple 参数使用清华镜像源。

基本使用

以下是最简单的 Python 代码示例，展示如何加载模型并将一张图片分解为 4 个 RGBA 图层。

from diffusers import QwenImageLayeredPipeline
import torch
from PIL import Image

# 1. 加载预训练模型
pipeline = QwenImageLayeredPipeline.from_pretrained("Qwen/Qwen-Image-Layered")
# 移动到 GPU 并使用 bfloat16 精度以节省显存并加速推理
pipeline = pipeline.to("cuda", torch.bfloat16)
pipeline.set_progress_bar_config(disable=None)

# 2. 准备输入图像
# 请替换为您本地的图片路径
image = Image.open("asserts/test_images/1.png").convert("RGBA")

# 3. 配置推理参数
inputs = {
    "image": image,
    "generator": torch.Generator(device='cuda').manual_seed(777), # 固定随机种子
    "true_cfg_scale": 4.0,
    "negative_prompt": " ",
    "num_inference_steps": 50,       # 推理步数
    "num_images_per_prompt": 1,
    "layers": 4,                     # 期望分解的图层数量
    "resolution": 640,               # 分辨率桶 (推荐 640 或 1024)
    "cfg_normalize": True,           # 是否启用 CFG 归一化
    "use_en_prompt": True,           # 若未提供描述，自动使用英文生成描述
}

# 4. 执行分解
with torch.inference_mode():
    output = pipeline(**inputs)
    output_image = output.images[0]

# 5. 保存结果
# 输出的图层将按顺序保存为独立的 PNG 文件
for i, image in enumerate(output_image):
    image.save(f"layer_{i}.png")
    print(f"Layer {i} saved.")

关键参数说明

• layers: 指定希望将图像分解为多少个图层（支持动态调整，如 3 层或 8 层）。
• resolution: 当前版本推荐使用 640，也可尝试 1024。
• 文本提示: 该模型主要用于“图到多层”分解。虽然支持文本条件推理，但目前的权重主要针对分解任务微调，文本生成能力有限。文本提示主要用于描述整体内容（包括被遮挡部分），而非控制单个图层的具体语义。

进阶部署

如果您希望启动一个 Web 界面进行交互式分解、编辑或合并图层，可以使用项目自带的 Gradio 脚本：

• 启动分解与导出界面 (支持导出 pptx, zip, psd):

  python src/app.py
  

• 启动图层编辑界面 (基于 Qwen-Image-Edit):

  python src/tool/edit_rgba_image.py
  

• 启动图层合并工具:

  python src/tool/combine_layers.py