用于文本驱动图像到图像翻译的即插即用扩散特征（CVPR 2023）

[项目页面] [Diffusers 实现]

更新：

19/06/23 🧨 即插即用的 Diffusers 实现现已发布 此处。

待办事项：

• Diffusers 支持与流水线集成
• Gradio 演示
• 发布 TI2I 基准测试

使用方法

要使用即插即用扩散特征，请按照以下步骤操作：

1. 设置
2. 特征提取
3. 运行 PnP
4. TI2I 基准测试

设置

我们的代码库基于 CompVis/stable-diffusion，共享依赖项和模型架构。

创建 Conda 环境

conda env create -f environment.yaml
conda activate pnp-diffusion

下载 StableDiffusion 权重

从 Hugging Face 上的 CompVis 组织下载 StableDiffusion 权重（下载 sd-v1-4.ckpt 文件），并将其链接：

mkdir -p models/ldm/stable-diffusion-v1/
ln -s <path/to/model.ckpt> models/ldm/stable-diffusion-v1/model.ckpt 

设置实验根路径

所有实验的数据都存储在一个根目录中。该目录的路径在 configs/pnp/setup.yaml 文件中的 config.exp_path_root 键下指定。

特征提取

要生成和提取图像的特征，首先需要在 YAML 配置文件中设置翻译参数。提取配置的示例可以在 configs/pnp/feature-extraction-generated.yaml 中找到，用于生成图像；在 configs/pnp/feature-extraction-real.yaml 中则用于真实图像。参数设置完成后，运行：

python run_features_extraction.py --config <extraction_config_path>

对于真实图像，保存特征的时间步由 save_feature_timesteps 参数决定。请注意，如果对真实图像进行 PnP 处理时有 T 个采样步骤，则需要以 save_feature_timesteps = T 的设置来运行提取（因为我们使用 999 个步骤来重建真实图像，因此需要指定保存特征的时间步）。

运行提取脚本后，会在 <exp_path_root>/<source_experiment_name> 目录下创建一个实验文件夹，其中 source_experiment_name 由配置文件指定。实验目录包含以下结构：

- <source_experiment_name>
    - feature_maps         # 包含提取的特征
    - predicted_samples    # 每个采样时间步的预测干净图像
    - samples              # 包含生成或反演的图像
    - translations         # PnP 翻译结果
    - z_enc.pt             # 初始的噪声潜在代码
    - args.json            # 实验的配置参数

要可视化提取的特征，请参阅 特征可视化 部分。

运行 PnP

要运行 PnP，首先需要在 YAML 配置文件中设置翻译参数。PnP 配置的示例可以在 configs/pnp/pnp-generated.yaml 中找到，用于生成图像；在 configs/pnp/pnp-real.yaml 中则用于真实图像。参数设置完成后，运行：

python run_pnp.py --config <pnp_config_path>

在配置参数中，您可以控制翻译的以下几个方面：

• 结构保持 可以通过 feature_injection_threshold 参数来控制（较高的值可以更好地保持结构，但也可能泄露源图像的细节；通常总采样步骤的 80% 左右是一个不错的折衷）。
• 与引导图像的偏差 可以通过 scale、negative_prompt_alpha 和 negative_prompt_schedule 参数来控制（详情请参阅示例配置文件）。对于逼真的引导图像，负面提示的影响较小，但对于极简和抽象的引导图像（例如分割图），它能起到显著的帮助作用。

请注意，您可以通过在 prompts 参数中提供多个目标提示来批量运行翻译。

特征可视化

ResBlock 特征可视化

要对提取的 ResBlock 特征进行 PCA 可视化（论文中的图 3），首先需要在 YAML 配置文件中设置可视化参数。可视化配置的示例可以在 configs/pnp/feature-pca-vis.yaml 中找到。参数设置完成后，运行：

python run_features_pca.py --config "<pca_vis_config_path>"

特征可视化结果会保存在 <config.exp_path_root>/PCA_features_vis/<experiment_name> 目录下，其中 <experiment_name> 在可视化配置文件中指定。

自注意力可视化

要可视化生成或反演图像的自注意力图（论文中的图 6），运行：

python run_self_attn_pca.py --block "<visualization_module_name>" --experiment "<experiment_name>"

自注意力可视化结果会保存在 <config.exp_path_root>/PCA_self_attention_vis/<experiment_name> 目录下。

TI2I 基准测试

您可以在 这个 Dropbox 文件夹 中找到 Wild-TI2I、ImageNetR-TI2I 和 ImageNetR-Fake-TI2I 基准测试。每个基准测试文件夹中都提供了一个 YAML 文件，其中包含了翻译提示以及所有必要的配置（例如种子、生成提示、引导图像路径）。

引用

@InProceedings{Tumanyan_2023_CVPR,
    author    = {Tumanyan, Narek and Geyer, Michal and Bagon, Shai and Dekel, Tali},
    title     = {Plug-and-Play Diffusion Features for Text-Driven Image-to-Image Translation},
    booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
    month     = {June},
    year      = {2023},
    pages     = {1921-1930}
}

Plug-and-Play 快速上手指南

Plug-and-Play (PnP) 是一种基于扩散模型特征的技术，用于实现文本驱动的图像到图像转换（Text-Driven Image-to-Image Translation）。它能够在保持源图像结构的同时，根据新的文本提示生成目标图像。

环境准备

本项目基于 CompVis/stable-diffusion 构建，推荐使用 Linux 或 macOS 系统。

前置依赖：

• Python 3.8+
• Conda (推荐用于环境管理)
• NVIDIA GPU (支持 CUDA) 及相应驱动
• Git

国内加速建议：

• 建议使用清华或阿里镜像源加速 Conda 和 Pip 包的安装。
• 模型权重下载若遇网络问题，可使用国内镜像站或代理。

安装步骤

1. 创建并激活 Conda 环境

使用项目提供的配置文件创建环境：

conda env create -f environment.yaml
conda activate pnp-diffusion

(注：若下载慢，可在 .condarc 中配置清华镜像源)

2. 下载 Stable Diffusion 权重

从 Hugging Face 下载 sd-v1-4.ckpt 文件（需登录 CompVis 组织账号），并将其链接到项目目录：

mkdir -p models/ldm/stable-diffusion-v1/
ln -s <path/to/model.ckpt> models/ldm/stable-diffusion-v1/model.ckpt 

请将 <path/to/model.ckpt> 替换为你实际下载的文件路径。

3. 配置实验根目录

编辑 configs/pnp/setup.yaml 文件，修改 config.exp_path_root 键值，指定所有实验数据的存储根目录路径。

基本使用

使用流程分为两步：特征提取 和 运行 PnP 转换。

第一步：特征提取

首先需要根据源图像提取扩散特征。根据你的图像是“生成的”还是“真实的”，选择对应的配置文件。

示例（针对真实图像）：

1. 检查或编辑 configs/pnp/feature-extraction-real.yaml，确保参数（如 save_feature_timesteps）设置正确。
   • 注意：若后续采样步数为 T，此处 save_feature_timesteps 也需设为 T。
2. 运行提取脚本：

python run_features_extraction.py --config configs/pnp/feature-extraction-real.yaml

运行后，实验文件夹将在配置的根目录下生成，包含提取的特征图 (feature_maps) 和潜在代码 (z_enc.pt) 等。

第二步：运行 PnP 转换

配置好目标文本提示后，执行图像转换。

示例：

1. 编辑 configs/pnp/pnp-real.yaml：
   • 在 prompts 列表中填入你的目标文本提示（支持批量）。
   • 调整 feature_injection_threshold 控制结构保留程度（推荐设为总采样步数的 80% 左右以平衡结构与细节）。
2. 运行转换脚本：

python run_pnp.py --config configs/pnp/pnp-real.yaml

转换结果将保存在实验目录下的 translations 文件夹中。

---

更多高级功能（如特征可视化 PCA、自注意力图可视化）请参考项目原文档中的对应章节。