以示例作画：基于扩散模型的范例驱动图像编辑

论文 | Hugging Face 演示

Binxin Yang, Shuyang Gu, Bo Zhang, Ting Zhang, Xuejin Chen, Xiaoyan Sun, Dong Chen 和 Fang Wen。

摘要

近年来，语言引导的图像编辑取得了巨大成功。在本文中，我们首次探索了范例引导的图像编辑，以实现更精确的控制。我们通过自监督训练来解耦并重新组织源图像和范例图像，从而达到这一目标。然而，简单的方法会导致明显的融合伪影。我们对此进行了仔细分析，并提出了信息瓶颈和强数据增强策略，以避免直接复制粘贴范例图像这种平凡解。同时，为了确保编辑过程的可控性，我们为范例图像设计了一个任意形状的掩码，并利用无分类器指导来提高与范例图像的相似度。整个框架只需一次扩散模型的前向传播，无需任何迭代优化。我们证明，我们的方法表现优异，能够在真实场景图像上实现高保真度的可控编辑。

新闻

• 2023-11-28 最新工作 Asymmetric VQGAN 改进了非掩码区域细节的保留效果。更多详细信息请参阅相关 论文 和 GitHub。
• 2023-05-13 发布定量结果代码。
• 2023-03-03 发布测试基准。
• 2023-02-23 非官方第三方应用支持由 ModelScope（中国最大的模型社区）提供。
• 2022-12-07 在 Hugging Face Spaces 上发布了一个 Gradio 演示。
• 2022-11-29 上传代码。

环境要求

可以创建并激活一个名为 Paint-by-Example 的合适 conda 环境，命令如下：

conda env create -f environment.yaml
conda activate Paint-by-Example

预训练模型

我们提供了在 Open-Images 数据集上训练了 40 个 epoch 的检查点（Google Drive | Hugging Face）。默认情况下，我们假设预训练模型已下载并保存到 checkpoints 目录。

测试

要从我们的模型中采样，可以使用 scripts/inference.py。例如：

python scripts/inference.py \
--plms --outdir results \
--config configs/v1.yaml \
--ckpt checkpoints/model.ckpt \
--image_path examples/image/example_1.png \
--mask_path examples/mask/example_1.png \
--reference_path examples/reference/example_1.jpg \
--seed 321 \
--scale 5

或者直接运行：

sh test.sh

输入和输出的可视化效果如下：

训练

数据准备

• 从 CVDF 官网 下载 Open-Images 数据集的独立压缩包，并解压到 dataset/open-images/images 目录。
• 从 Open-Images 官网 下载 Open-Images 数据集的边界框标注文件，保存到 dataset/open-images/annotations 目录。
• 将每张图像的边界框标注转换为 txt 格式。

  python scripts/read_bbox.py
  

数据结构如下：

dataset
├── open-images
│  ├── annotations
│  │  ├── class-descriptions-boxable.csv
│  │  ├── oidv6-train-annotations-bbox.csv
│  │  ├── test-annotations-bbox.csv
│  │  ├── validation-annotations-bbox.csv
│  ├── images
│  │  ├── train_0
│  │  │  ├── xxx.jpg
│  │  │  ├── ...
│  │  ├── train_1
│  │  ├── ...
│  │  ├── validation
│  │  ├── test
│  ├── bbox
│  │  ├── train_0
│  │  │  ├── xxx.txt
│  │  │  ├── ...
│  │  ├── train_1
│  │  ├── ...
│  │  ├── validation
│  │  ├── test

下载 Stable Diffusion 预训练模型

我们使用 Stable Diffusion v1-4 作为初始化模型，请从 Hugging Face 下载预训练模型并保存到 pretrained_models 目录。然后运行以下脚本，为 UNet 的 5 个额外输入通道添加零初始化权重（4 个用于编码的掩码图像，1 个用于掩码本身）。

python scripts/modify_checkpoints.py

训练 Paint by Example

要在 Open-Images 数据集上训练新模型，可以使用 main.py。例如：

python -u main.py \
--logdir models/Paint-by-Example \
--pretrained_model pretrained_models/sd-v1-4-modified-9channel.ckpt \
--base configs/v1.yaml \
--scale_lr False

或者直接运行：

sh train.sh

测试基准

我们构建了一个用于定量分析的测试基准。具体来说，我们从 MSCOCO 验证集手动选取了 3500 张源图像，每张图像仅包含一个边界框。然后，我们又从 MSCOCO 训练集手动检索了一块参考图像区域。参考图像通常与掩码区域具有相似的语义，以确保组合合理。我们将其命名为 COCO 范例驱动图像编辑基准，简称 COCOEE。该测试基准可以从 Google Drive 下载。

定量结果

默认情况下，我们假设 COCOEE 已下载并保存到 test_bench 目录。要生成测试基准的结果，可以使用 scripts/inference_test_bench.py。例如：

python scripts/inference_test_bench.py \
--plms \
--outdir results/test_bench \
--config configs/v1.yaml \
--ckpt checkpoints/model.ckpt \
--scale 5

或者直接运行：

bash inference_test_bench.sh

FID 分数

默认情况下，我们假设 COCO2017 的测试集已下载并保存到 dataset 目录中。数据结构如下：

dataset
├── coco
│  ├── test2017
│  │  ├── xxx.jpg
│  │  ├── xxx.jpg
│  │  ├── ...
│  │  ├── xxx.jpg

然后将图像转换为分辨率为 512×512 的正方形图像。

python scripts/create_square_gt_for_fid.py

要计算 FID 分数，只需运行：

python eval_tool/fid/fid_score.py --device cuda \
test_bench/test_set_GT \
results/test_bench/results

QS 分数

请从 Google Drive 下载用于计算 QS 分数的模型权重，并将模型保存到 eval_tool/gmm 目录中。要计算 QS 分数，只需运行：

python eval_tool/gmm/gmm_score_coco.py results/test_bench/results \
--gmm_path eval_tool/gmm/coco2017_gmm_k20 \
--gpu 1

CLIP 分数

要计算 CLIP 分数，只需运行：

python eval_tool/clip_score/region_clip_score.py \
--result_dir results/test_bench/results

引用 Paint by Example

@article{yang2022paint,
  title={Paint by Example: Exemplar-based Image Editing with Diffusion Models},
  author={Binxin Yang and Shuyang Gu and Bo Zhang and Ting Zhang and Xuejin Chen and Xiaoyan Sun and Dong Chen and Fang Wen},
  journal={arXiv preprint arXiv:2211.13227},
  year={2022}
}

致谢

本代码大量借鉴了 Stable Diffusion。我们还感谢 OpenAI 的 ADM 代码库 和 https://github.com/lucidrains/denoising-diffusion-pytorch 的贡献者。

维护

如需帮助，请在 GitHub 上提交问题。如果您对技术细节有任何疑问，请随时与我们联系。

许可证

本仓库中的代码和预训练模型均采用 CreativeML OpenRAIL M 许可证，具体参见 LICENSE 文件。

测试基准 COCOEE 归 COCO 联盟所有，并根据知识共享署名 4.0 许可证授权使用。

Paint-by-Example 快速上手指南

Paint-by-Example 是一个基于扩散模型的图像编辑工具，允许用户通过提供一张参考图（Exemplar），将参考图中的物体或纹理精确地融合到目标图像的指定区域中。

环境准备

• 系统要求：Linux 操作系统，推荐配备 NVIDIA GPU（显存建议 8GB 以上）。
• 前置依赖：已安装 Conda 包管理器。
• 网络提示：下载模型和依赖时若遇到网络问题，建议配置国内镜像源或使用代理加速。

安装步骤

1. 克隆代码库

   git clone https://github.com/Fantasy-Studio/Paint-by-Example.git
   cd Paint-by-Example
   

2. 创建并激活 Conda 环境 使用项目提供的配置文件一键安装依赖：

   conda env create -f environment.yaml
   conda activate Paint-by-Example
   

3. 下载预训练模型 将训练好的模型下载到 checkpoints 目录。你可以选择从 Hugging Face 下载，或者使用国内镜像（如 ModelScope）加速。

   • 方式一：Hugging Face (官方)

     mkdir -p checkpoints
     wget -O checkpoints/model.ckpt https://huggingface.co/Fantasy-Studio/Paint-by-Example/resolve/main/model.ckpt
     

   • 方式二：ModelScope (国内加速推荐) 如果 Hugging Face 下载缓慢，可前往 ModelScope 模型页 下载 model.ckpt 并手动放入 checkpoints 文件夹。

基本使用

准备好三张图片即可开始推理：

1. 原图 (--image_path)：需要被编辑的背景图。
2. 掩码图 (--mask_path)：黑白图片，白色区域表示需要被替换/填充的区域。
3. 参考图 (--reference_path)：提供想要融入内容的示例图片。

运行以下命令生成结果（结果将保存在 results 文件夹）：

python scripts/inference.py \
--plms --outdir results \
--config configs/v1.yaml \
--ckpt checkpoints/model.ckpt \
--image_path examples/image/example_1.png \
--mask_path examples/mask/example_1.png \
--reference_path examples/reference/example_1.jpg \
--seed 321 \
--scale 5

参数说明：

• --scale：引导尺度，数值越大生成的图像与参考图越相似（默认 5，可尝试 3-7 之间）。
• --seed：随机种子，用于复现结果。

你也可以直接运行封装好的脚本进行测试：

sh test.sh