用于文本驱动自然图像编辑的混合扩散模型 [CVPR 2022]

用于文本驱动自然图像编辑的混合扩散模型

Omri Avrahami, Dani Lischinski, Ohad Fried

摘要：自然语言为图像编辑提供了一种非常直观的界面。在本文中，我们提出了首个基于自然语言描述和 ROI 掩码，在通用自然图像中执行局部（基于区域）编辑的解决方案。 我们通过利用并结合一个预训练的语言-图像模型（CLIP），以引导编辑过程朝着用户提供的文本提示方向进行；同时使用去噪扩散概率模型（DDPM）生成自然逼真的结果，从而实现这一目标。 为了将编辑后的区域与图像未更改的部分无缝融合，我们在一系列噪声水平下，将输入图像的加噪版本与局部文本引导的扩散潜在表示进行空间混合。 此外，我们还表明，在扩散过程中加入数据增强可以有效缓解对抗性结果的发生。 我们从定性和定量两个方面与多个基线及相关方法进行了比较，并证明我们的方法在整体真实感、背景保留能力以及与文本的匹配度等方面均优于这些现有方案。最后，我们展示了若干文本驱动的编辑应用，包括向图像中添加新对象、移除/替换/修改现有对象、更换背景以及图像外推等。

新闻

您可能对后续项目 混合潜在扩散模型 感兴趣，该模型能够生成更优的结果，并显著提升处理速度。代码可在 此处获取。

快速入门

安装

1. 创建虚拟环境：

$ conda create --name blended-diffusion python=3.9
$ conda activate blended-diffusion
$ pip3 install ftfy regex matplotlib lpips kornia opencv-python torch==1.9.0+cu111 torchvision==0.10.0+cu111 -f https://download.pytorch.org/whl/torch_stable.html

2. 创建 checkpoints 目录，并从 这里 下载预训练的扩散模型至该文件夹。

图像生成

文本驱动的多结果合成示例：

$ python main.py -p "rock" -i "input_example/img.png" --mask "input_example/mask.png" --output_path "output"

生成结果将保存在 output/ranked 文件夹中，按 CLIP 相似度排名排序。为了获得最佳效果，请生成大量结果（至少 64 个），并选取其中最好的几个。

为了在一次扩散过程中生成多个结果，我们采用了批处理方式。如果出现 CUDA 内存不足 的错误，请先尝试降低批次大小，设置 --batch_size 1。

应用

同一提示下的多结果合成

不同提示下的合成结果

修改现有物体的一部分

更换背景

手绘引导的编辑

文本引导的外推

多种应用的组合

致谢

本代码借鉴了 CLIP、Guided-diffusion 和 CLIP-Guided Diffusion 的相关实现。

引用

如果您在研究中使用了本代码，请引用以下文献：

@InProceedings{Avrahami_2022_CVPR,
    author    = {Avrahami, Omri and Lischinski, Dani and Fried, Ohad},
    title     = {Blended Diffusion for Text-Driven Editing of Natural Images},
    booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
    month     = {June},
    year      = {2022},
    pages     = {18208-18218}
}

Blended Diffusion 快速上手指南

Blended Diffusion 是一个基于文本驱动的自然图像局部编辑工具。它结合了预训练的 CLIP 模型和去噪扩散概率模型（DDPM），允许用户通过自然语言描述和区域掩码（ROI Mask）对图像的特定部分进行编辑（如添加、移除、替换物体或更换背景），同时保持背景的自然融合。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux 或 macOS (Windows 需使用 WSL2)
• Python 版本: 3.9
• GPU: 支持 CUDA 的 NVIDIA 显卡（推荐显存 8GB 以上，若显存较小需调整 batch size）
• 包管理器: Conda (推荐) 或 pip

安装步骤

1. 创建虚拟环境并安装依赖

使用 Conda 创建名为 blended-diffusion 的虚拟环境，并安装必要的 Python 库。

conda create --name blended-diffusion python=3.9
conda activate blended-diffusion
pip3 install ftfy regex matplotlib lpips kornia opencv-python torch==1.9.0+cu111 torchvision==0.10.0+cu111 -f https://download.pytorch.org/whl/torch_stable.html

提示：上述命令安装了特定版本的 PyTorch (CUDA 11.1)。如果您的服务器 CUDA 版本不同，请访问 PyTorch 官网 获取对应版本的安装命令，但需确保 PyTorch 版本 >= 1.9.0。

2. 下载预训练模型

在项目根目录下创建 checkpoints 文件夹，并下载预训练的扩散模型权重文件。

mkdir checkpoints
wget -O checkpoints/256x256_diffusion_uncond.pt "https://huggingface.co/omriav/blended-diffusion/resolve/main/checkpoints/256x256_diffusion_uncond.pt?download=true"

国内加速建议：如果从 Hugging Face 下载速度较慢，可使用国内镜像源或代理加速下载，然后将文件 256x256_diffusion_uncond.pt 放入 checkpoints 目录即可。

基本使用

准备好输入图片（img.png）和对应的掩码图片（mask.png，白色区域为需要编辑的部分，黑色为保留部分）后，即可运行编辑命令。

运行示例

以下命令将把输入图片中掩码指定的区域编辑为 "rock"（岩石）：

python main.py -p "rock" -i "input_example/img.png" --mask "input_example/mask.png" --output_path "output"

• -p: 文本提示词（Prompt），描述你想要生成的内容。
• -i: 输入原图路径。
• --mask: 掩码图片路径。
• --output_path: 输出结果保存目录。

查看结果

生成完成后，结果将保存在 output/ranked 文件夹中。

• 文件已按 CLIP 相似度 排序，排名靠前的图片通常与文本描述匹配度最高且视觉效果最好。
• 最佳实践：为了获得高质量结果，建议一次性生成较多数量（至少 64 张），然后从中挑选最佳的一张。

显存优化

如果在运行过程中遇到 CUDA out of memory 错误，请尝试减小批处理大小：

python main.py -p "rock" -i "input_example/img.png" --mask "input_example/mask.png" --output_path "output" --batch_size 1