ReVersion（SIGGRAPH Asia，2024）

本仓库包含以下论文的实现：

ReVersion：基于扩散模型的图像关系反转
黄子琪 ^∗, 吴天行 ^∗, 江宇明，陈凯文，刘子威

来自南洋理工大学S-Lab附属的MMLab@NTU

:open_book: 概览

我们提出了一项新任务——关系反转：给定若干示例图像，每张图像中都存在一种特定的关系，我们的目标是找到一个关系提示**<R>，以捕捉这种交互，并将该关系应用于新的实体，从而合成新的场景。上述图像由我们的ReVersion**框架生成。

:heavy_check_mark: 更新内容

• [2024年12月] 我们将在【SIGGRAPH Asia 2024，东京】上展示ReVersion。欢迎参加我们的【演示与讨论】，时间为2024年12月3日。
• [2024年3月] 我们优化了代码实现。现在你只需保存和加载关系提示，而无需保存或加载整个文本到图像模型。
• [2023年8月] 我们发布了关系反转的【训练代码】（https://github.com/ziqihuangg/ReVersion/tree/master#relation-inversion）。
• [2023年4月] 我们发布了【ReVersion基准测试】（https://drive.google.com/drive/folders/1FU1Ni-oDpxQCNYKo-ZLEfSGqO-j_Hw7X?usp=sharing）。
• [2023年4月] 使用【Gradio】集成到【Hugging Face 🤗】（https://github.com/gradio-app/gradio）。试试在线演示：[](https://huggingface.co/spaces/Ziqi/ReVersion)
• [2023年3月] 【Arxiv论文】（https://arxiv.org/abs/2303.13495）已上线。
• [2023年3月] 带有关系提示的预训练模型已发布，链接如下：（https://drive.google.com/drive/folders/1apFk6TF3pGH00hHF1nO1S__tDlrcLQAh?usp=sharing）
• [2023年3月] 【项目页面】（https://ziqihuangg.github.io/projects/reversion.html）和【视频】（https://www.youtube.com/watch?v=pkal3yjyyKQ）已上线。
• [2023年3月] 推理代码已发布。

:hammer: 安装

1. 克隆仓库

   git clone https://github.com/ziqihuangg/ReVersion
   cd ReVersion
   

2. 创建Conda环境并安装依赖

   conda create -n reversion
   conda activate reversion
   conda install python=3.8 pytorch==1.11.0 torchvision==0.12.0 cudatoolkit=11.3 -c pytorch
   pip install diffusers["torch"]
   pip install -r requirements.txt
   

:page_with_curl: 使用方法

关系反转

给定一组示例图像及其实体的粗略描述，你可以优化一个关系提示**<R>**，以捕捉这些图像中共同存在的关系，即“关系反转”。

1. 准备示例图像（例如，0.jpg至9.jpg）和粗略描述文件（text.json），并将它们放在一个文件夹中。你可以使用我们的ReVersion基准测试，也可以自行准备图像。以下是我们的ReVersion基准测试的一个示例：

   .reversion_benchmark_v1
   ├── painted_on
   │   ├── 0.jpg
   │   ├── 1.jpg
   │   ├── 2.jpg
   │   ├── 3.jpg
   │   ├── 4.jpg
   │   ├── 5.jpg
   │   ├── 6.jpg
   │   ├── 7.jpg
   │   ├── 8.jpg
   │   ├── 9.jpg
   │   └── text.json
   

2. 以关系painted_on为例，你可以使用以下脚本开始训练：

   accelerate launch \
       --config_file="./configs/single_gpu.yml" \
       train.py \
       --seed="2023" \
       --pretrained_model_name_or_path="runwayml/stable-diffusion-v1-5" \
       --train_data_dir="./reversion_benchmark_v1/painted_on" \
       --placeholder_token="<R>" \
       --initializer_token="and" \
       --train_batch_size="2" \
       --gradient_accumulation_steps="4" \
       --max_train_steps="3000" \
       --learning_rate='2.5e-04' --scale_lr \
       --lr_scheduler="constant" \
       --lr_warmup_steps="0" \
       --output_dir="./experiments/painted_on" \
       --save_steps="1000" \
       --importance_sampling \
       --denoise_loss_weight="1.0" \
       --steer_loss_weight="0.01" \
       --num_positives="4" \
       --temperature="0.07" \
       --only_save_embeds
   

   其中，train_data_dir是示例图像和粗略描述文件的路径。output_dir是保存反转后的关系及实验日志的路径。要生成特定于关系的图像，可以参考下一节【生成】（https://github.com/ziqihuangg/ReVersion/tree/master#generation）。

   注意，only_save_embeds选项允许你仅保存关系提示**<R>**，而无需保存整个Stable Diffusion模型。你可以根据需要决定是否启用它。

:framed_picture: 生成

我们可以利用学习到的关系提示**<R>**，生成包含新对象、背景和风格的关系特定图像。

1. 您可以使用自定义数据从关系反转中获取一个学习到的**<R>**。您也可以从这里下载模型，我们提供了几个预训练的关系提示供您试用。

2. 将这些模型（即学习到的关系提示**<R>**）放置在./experiments/目录下，如下所示：

   ./experiments/
   ├── painted_on
   │   ├── checkpoint-500
   │   ...
   │   └── model_index.json
   ├── carved_by
   │   ├── checkpoint-500
   │   ...
   │   └── model_index.json
   ├── inside
   │   ├── checkpoint-500
   │   ...
   │   └── model_index.json
   ...
   

3. 以关系painted_on为例，您可以使用以下脚本，通过单个提示生成图像，例如：“猫 <R> 石头”：

   python inference.py \
   --model_id ./experiments/painted_on \
   --prompt "cat <R> stone" \
   --placeholder_string "<R>" \
   --num_samples 10 \
   --guidance_scale 7.5 \
   --only_load_embeds
   

   或者，在./templates/templates.py中编写一个提示列表，键名为 $your_template_name，然后为列表中的每个提示生成图像：

   your_template_name='painted_on_examples'
   python inference.py \
   --model_id ./experiments/painted_on \
   --template_name $your_template_name \
   --placeholder_string "<R>" \
   --num_samples 10 \
   --guidance_scale 7.5 \
   --only_load_embeds
   

   其中，model_id是模型目录，num_samples是每个提示要生成的图像数量，guidance_scale是无分类器引导尺度。

   我们在./templates/templates.py中为每种关系提供了几个示例模板，如painted_on_examples、carved_by_examples等。

   注意，如果您在反转过程中保存了整个模型——即未开启only_save_embeds标志——那么在推理时应关闭only_load_embeds标志。 only_load_embeds选项仅从实验文件夹加载关系提示**<R>**，并自动从包含预训练Stable Diffusion模型的默认缓存位置加载Stable Diffusion模型的其余部分（包括其他文本标记的嵌入）。

:hugs: Gradio演示

• 我们还提供了一个Gradio演示，让您通过UI测试我们的方法。此演示支持即时进行关系特定的文生图生成。运行以下命令即可启动演示：

  python app_gradio.py
  

• 或者，您也可以尝试在线演示这里。

:art: 多样化生成

您还可以利用关系提示**<R>**指定多样化的提示，生成具有不同背景和风格的图像。例如，您的提示可以是：“迈克尔·杰克逊 <R> 墙壁，位于沙漠中”，“猫 <R> 石头，位于海滩上”等等。

:straight_ruler: ReVersion基准测试

ReVersion基准测试由多种关系和实体组成，并附有一组定义明确的文本描述。

• 关系与实体。我们定义了十种具有不同抽象层次的代表性物体关系，从基本的空间关系（例如，“在……之上”）、实体交互（例如，“与……握手”）到抽象概念（例如，“由……雕刻”）。此外，还涉及广泛的实体，如动物、人类、家居用品等，以进一步增加基准测试的多样性。
• 示例图像与文本描述。对于每种关系，我们收集了四到十个包含不同实体的示例图像。我们还为每个示例图像标注了几种文本模板，以便用不同级别的细节描述它们。这些训练模板可用于优化关系提示。
• 基准测试场景。我们为十种关系中的每一种设计了100个推理模板，每个模板都包含不同的物体实体。

:fountain_pen: 引用

如果您觉得我们的仓库对您的研究有帮助，请考虑引用我们的论文：

@inproceedings{huang2023reversion,
        title={{ReVersion}: 基于扩散的关系反转从图像中实现},
        author={黄子琪、吴天行、江宇明、陈凯文·C·K.、刘子威},
         booktitle={SIGGRAPH Asia 2024会议论文},
        year={2024}
   }

:white_heart: 致谢

代码库由黄子琪和吴天行维护。

该项目基于以下开源仓库构建：

• Stable Diffusion 1.5
• Diffusers

ReVersion 快速上手指南

环境准备

• 系统要求：Linux / Windows / macOS，推荐使用 NVIDIA 显卡（显存 ≥ 8GB）
• 前置依赖：Python 3.8、CUDA 11.3（或兼容版本）、conda

推荐使用国内镜像加速依赖安装：
在 pip install 前添加 -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆仓库

   git clone https://github.com/ziqihuangg/ReVersion
   cd ReVersion
   

2. 创建并激活 Conda 环境

   conda create -n reversion python=3.8
   conda activate reversion
   

3. 安装 PyTorch 与 CUDA 依赖

   conda install pytorch==1.11.0 torchvision==0.12.0 cudatoolkit=11.3 -c pytorch
   

4. 安装其他依赖

   pip install diffusers["torch"] -i https://pypi.tuna.tsinghua.edu.cn/simple
   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

基本使用

1. 关系倒置（训练关系提示词）

使用预设数据集 painted_on 示例，训练一个关系提示符 <R>：

accelerate launch \
    --config_file="./configs/single_gpu.yml" \
    train.py \
    --seed="2023" \
    --pretrained_model_name_or_path="runwayml/stable-diffusion-v1-5" \
    --train_data_dir="./reversion_benchmark_v1/painted_on" \
    --placeholder_token="<R>" \
    --initializer_token="and" \
    --only_save_embeds \
    --output_dir="./experiments/painted_on"

训练完成后，仅保存 <R> 提示词嵌入，不保存完整模型，节省存储。

2. 生成图像（使用训练好的关系）

使用训练好的 <R> 生成新图像，例如：“cat stone”：

python inference.py \
    --model_id ./experiments/painted_on \
    --prompt "cat <R> stone" \
    --placeholder_string "<R>" \
    --num_samples 5 \
    --guidance_scale 7.5 \
    --only_load_embeds

默认从 ./experiments/painted_on 加载 <R>，其余模型参数自动从 Hugging Face 缓存加载。

3. 快速体验在线 Demo

无需安装，直接访问：