DragonDiffusion + DiffEditor

Chong Mou, Xintao Wang, Jiechong Song, Ying Shan, Jian Zhang

---

https://user-images.githubusercontent.com/54032224/302051504-dac634f3-85ef-4ff1-80a2-bd2805e067ea.mp4

🚩 新功能/更新

• [2024/02/26] DiffEditor 被 CVPR 2024 接收。
• [2024/02/05] 发布 DiffEditor 论文。
• [2024/02/04] 发布 DragonDiffusion 和 DiffEditor 的代码。
• [2024/01/15] DragonDiffusion 被 ICLR 2024 接收（Spotlight）。
• [2023/07/06] DragonDiffusion 的论文可在 这里 查阅。

---

简介

DragonDiffusion 是一种无需旋转的细粒度图像编辑方法。其核心思想源自 基于分数的扩散模型。它可以执行多种编辑任务，包括对象移动、对象缩放、对象外观替换、内容拖拽以及对象粘贴。DiffEditor 进一步提升了 DragonDiffusion 的编辑精度和灵活性。

🔥🔥🔥 主要特性

外观调节

外观调节可以改变图像中某个对象的外观。最终的外观可以通过参考图像来指定。

对象移动与缩放

对象移动可以将图像中的对象移动到指定位置。

人脸调节

人脸调节可以将一张脸的轮廓转换为另一张参考脸的轮廓。

内容拖拽

内容拖拽可以通过点对点拖动来进行图像编辑。

对象粘贴

对象粘贴可以将给定的对象粘贴到背景图像上。

🔧 依赖与安装

• Python >= 3.8（推荐使用 Anaconda 或 Miniconda）
• PyTorch >= 2.0.1

pip install -r requirements.txt
pip install dlib==19.14.0

⏬ 下载模型

所有模型将会自动下载。你也可以选择从这个 链接 手动下载。

💻 如何测试

推理时，编辑一张 768x768 的图像至少需要 16GB 的显存。我们提供了一个基于 Gradio 的快速启动演示。

python app.py

相关工作

[1] Drag Your GAN：生成图像流形上的交互式基于点的操作

[2] DragDiffusion：利用扩散模型进行交互式基于点的图像编辑

[3] 从图像扩散中涌现的对应关系

[4] 扩散自引导用于可控图像生成

[5] IP-Adapter：文本兼容的图像提示适配器，用于文本到图像的扩散模型

🤗 致谢

我们感谢 基于分数的扩散模型 和 DragGAN 所做的基础性工作。

BibTeX

@article{mou2023dragondiffusion,
  title={Dragondiffusion：在扩散模型上实现拖拽风格的操作},
  author={Mou, Chong and Wang, Xintao and Song, Jiechong and Shan, Ying and Zhang, Jian},
  journal={arXiv 预印本 arXiv:2307.02421},
  year={2023}
}
@article{mou2023diffeditor,
  title={DiffEditor：提升基于扩散的图像编辑的精度和灵活性},
  author={Mou, Chong and Wang, Xintao and Song, Jiechong and Shan, Ying and Zhang, Jian},
  journal={arXiv 预印本 arXiv:2402.02583},
  year={2023}
}

DragonDiffusion 快速上手指南

DragonDiffusion 是一款基于扩散模型的免训练细粒度图像编辑工具，支持物体移动、缩放、外观替换、内容拖拽及物体粘贴等功能。结合 DiffEditor 模块，可进一步提升编辑的精度与灵活性。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux / Windows / macOS
• Python 版本：>= 3.8（推荐使用 Anaconda 或 Miniconda 管理环境）
• PyTorch 版本：>= 2.0.1
• 硬件要求：推理编辑 768x768 分辨率图像至少需要 16GB 显存。

安装步骤

1. 创建并激活虚拟环境（可选但推荐）：

   conda create -n dragondiffusion python=3.8
   conda activate dragondiffusion
   

2. 安装 PyTorch： 请访问 PyTorch 官网 根据您的 CUDA 版本获取安装命令。例如：

   pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
   

   (国内用户可使用清华源加速：pip install torch ... -i https://pypi.tuna.tsinghua.edu.cn/simple)

3. 安装项目依赖： 克隆仓库后进入目录，执行以下命令安装基础依赖和特定的 dlib 库：

   pip install -r requirements.txt
   pip install dlib==19.14.0
   

   提示：若 pip 下载缓慢，建议添加 -i https://pypi.tuna.tsinghua.edu.cn/simple 参数使用国内镜像源。

4. 模型下载： 首次运行时，程序会自动从 HuggingFace 下载所需模型。

   • 手动下载地址：HuggingFace - Adapter/DragonDiffusion
   • 如需加速，可将下载后的模型文件放置于代码指定的缓存目录中。

基本使用

项目提供了一个基于 Gradio 的交互式演示界面，这是最快捷的上手方式。

1. 启动服务： 在项目根目录下运行：

   python app.py
   

2. 进行操作：

   • 等待终端输出本地访问地址（通常为 http://127.0.0.1:7860）。
   • 在浏览器中打开该地址。
   • 上传源图像，选择编辑模式（如 Appearance Modulation, Object Moving, Face Modulation 等），上传参考图或设置拖拽点，点击生成即可预览编辑效果。

主要功能模式说明

• Appearance Modulation：通过参考图改变物体外观。
• Object Moving & Resizing：将物体移动至指定位置或调整大小。
• Face Modulation：将人脸轮廓变换为参考人脸的轮廓。
• Content Dragging：通过点对点的拖拽进行图像内容编辑。
• Object Pasting：将指定物体粘贴到背景图中。