DiffMorpher：释放扩散模型在图像变形中的潜力

CVPR 2024

张凯文    周一帆    徐旭东    潘星刚✉    戴博

✉通讯作者

网页演示

环境要求

要安装所需的依赖，请先在您的环境中运行以下命令：

pip install -r requirements.txt

为了正确使用 CUDA 运行代码，您可以将 requirements.txt 文件中的 torch 和 torchvision 注释掉，并根据 PyTorch 的说明安装相应版本的 torch 和 torchvision。

您还可以从 Huggingface 下载预训练模型 Stable Diffusion v2.1-base，并将 model_path 指定为您本地的目录。

运行 Gradio 界面

要启动 DiffMorpher 的 Gradio 界面，请在您的环境中运行以下命令：

python app.py

默认情况下，您可以通过 http://127.0.0.1:7860 访问该界面。

直接运行代码

您也可以通过以下命令直接运行代码：

python main.py \
  --image_path_0 [image_path_0] --image_path_1 [image_path_1] \ 
  --prompt_0 [prompt_0] --prompt_1 [prompt_1] \
  --output_path [output_path] \
  --use_adain --use_reschedule --save_inter

该脚本还支持以下选项：

• --image_path_0: 第一张图片的路径（默认为空）
• --prompt_0: 第一张图片的提示词（默认为空）
• --image_path_1: 第二张图片的路径（默认为空）
• --prompt_1: 第二张图片的提示词（默认为空）
• --model_path: 预训练模型的路径（默认为“stabilityai/stable-diffusion-2-1-base”）
• --output_path: 输出图片的路径（默认为空）
• --save_lora_dir: 输出 LoRA 目录的路径（默认为“./lora”）
• --load_lora_path_0: 第一张图片的 LoRA 目录路径（默认为空）
• --load_lora_path_1: 第二张图片的 LoRA 目录路径（默认为空）
• --use_adain: 使用 AdaIN（默认为 False）
• --use_reschedule: 使用重新调度采样（默认为 False）
• --lamb: 用于自注意力替换的超参数 $\lambda \in [0,1]$，$\lambda$ 越大表示替换越多（默认为 0.6）
• --fix_lora_value: 固定 LoRA 值（默认为 LoRA 插值，不固定）
• --save_inter: 保存中间结果（默认为 False）
• --num_frames: 生成的帧数（默认为 50）
• --duration: 每帧持续的时间（默认为 50）

示例：

python main.py \
  --image_path_0 ./assets/Trump.jpg --image_path_1 ./assets/Biden.jpg \ 
  --prompt_0 "一张美国男士的照片" --prompt_1 "一张美国男士的照片" \
  --output_path "./results/Trump_Biden" \
  --use_adain --use_reschedule --save_inter

python main.py \
  --image_path_0 ./assets/vangogh.jpg --image_path_1 ./assets/pearlgirl.jpg \ 
  --prompt_0 "一幅男子的油画" --prompt_1 "一幅女子的油画" \
  --output_path "./results/vangogh_pearlgirl" \
  --use_adain --use_reschedule --save_inter

python main.py \
  --image_path_0 ./assets/lion.png --image_path_1 ./assets/tiger.png \ 
  --prompt_0 "一张狮子的照片" --prompt_1 "一张老虎的照片" \
  --output_path "./results/lion_tiger" \
  --use_adain --use_reschedule --save_inter

MorphBench

为了评估我们方法的有效性，我们提出了 MorphBench，这是首个用于评估通用物体图像变形的基准数据集。您可以从 Google Drive 或 百度网盘 下载该数据集。

许可证

与 DiffMorpher 算法相关的代码遵循 LICENSE 许可协议。

然而，本项目主要基于开源库 diffusers，该库采用单独的许可条款 Apache License 2.0。（也向社区致敬！）

引用

@article{zhang2023diffmorpher,
    title={DiffMorpher: Unleashing the Capability of Diffusion Models for Image Morphing},
    author={Zhang, Kaiwen and Zhou, Yifan and Xu, Xudong and Pan, Xingang and Dai, Bo},
    journal={arXiv preprint arXiv:2312.07409},
    year={2023}
}

DiffMorpher 快速上手指南

DiffMorpher 是一个基于扩散模型（Diffusion Models）的图像变形（Image Morphing）工具，能够生成高质量、平滑的图像过渡动画。本项目入选 CVPR 2024。

环境准备

• 系统要求：支持 Linux/Windows/macOS，推荐使用 NVIDIA GPU 以加速 CUDA 计算。
• Python 版本：建议 Python 3.8+。
• 前置依赖：需安装 PyTorch 和 torchvision。为了获得最佳性能，建议根据 PyTorch 官网 指引安装与你的 CUDA 版本匹配的 torch 和 torchvision。
  • 注意：若手动安装了特定版本的 PyTorch，请在 requirements.txt 中注释掉 torch 和 torchvision 行，避免版本冲突。
• 模型权重：代码默认使用 Stable Diffusion v2.1-base。你可以选择在线自动下载，或从 Huggingface 手动下载到本地并指定路径。

安装步骤

1. 克隆仓库（假设已获取代码目录）： 进入项目根目录。

2. 安装依赖：

   pip install -r requirements.txt
   

3. 配置模型（可选）： 如果网络环境不佳，建议提前下载 stabilityai/stable-diffusion-2-1-base 模型到本地，并在运行时通过 --model_path 参数指定本地路径。

基本使用

DiffMorpher 提供两种使用方式：Gradio 可视化界面和命令行脚本。

方式一：启动 Gradio UI（推荐新手）

运行以下命令启动本地 Web 界面：

python app.py

启动成功后，在浏览器中访问 http://127.0.0.1:7860 即可上传两张图片并生成变形动画。

方式二：命令行运行

使用 main.py 进行更灵活的配置。以下是一个标准的运行示例，将两张图片进行变形处理：

python main.py \
  --image_path_0 ./assets/Trump.jpg --image_path_1 ./assets/Biden.jpg \ 
  --prompt_0 "A photo of an American man" --prompt_1 "A photo of an American man" \
  --output_path "./results/Trump_Biden" \
  --use_adain --use_reschedule --save_inter

关键参数说明：

• --image_path_0 / --image_path_1：起始图片和结束图片的路径。
• --prompt_0 / --prompt_1：对应图片的描述提示词（Prompt）。
• --output_path：输出结果保存路径。
• --use_adain：启用 AdaIN 风格适配，提升变形效果。
• --use_reschedule：启用重调度采样，优化时间步长。
• --save_inter：保存中间帧结果。
• --model_path：指定本地 Stable Diffusion 模型路径（如需使用本地模型）。

更多高级选项：

• --num_frames：生成帧数（默认 50）。
• --lamb：自注意力替换的超参数 $\lambda$，范围 [0,1]，值越大替换越多（默认 0.6）。
• --load_lora_path_0/1：加载预训练的 LoRA 权重以增强特定主体的一致性。