AnyDoor：零样本对象级图像定制

陈曦 · 黄亮华 · 刘宇 · 沈宇俊 · 赵德利 · 赵恒爽


香港大学   |   阿里巴巴集团   |   蚂蚁集团

新闻

• [2023.12.17] 发布训练、推理及演示代码，并提供预训练检查点。
• [2023.12.24] 🔥 支持在 ModelScope 和 HuggingFace 上进行在线演示。
• [即将] 发布新版本论文。
• [持续进行] 扩大训练数据规模，并发布更强的模型，作为下游区域到区域生成任务的基础模型。
• [持续进行] 发布针对下游任务（如虚拟试穿、人脸交换、文字和 logo 转移等）的专用模型。

安装

使用 conda 安装：

conda env create -f environment.yaml
conda activate anydoor

或使用 pip：

pip install -r requirements.txt

此外，进行训练时还需要安装 panopticapi、pycocotools 和 lvis-api。

pip install git+https://github.com/cocodataset/panopticapi.git

pip install pycocotools -i https://pypi.douban.com/simple

pip install lvis

下载检查点

下载 AnyDoor 检查点：

• ModelScope
• HuggingFace

注意： 我们包含了 Adam 优化器的所有参数，因此检查点文件较大。您可以只保留“state_dict”以大幅减小文件大小。

下载 DINOv2 检查点，并修改 /configs/anydoor.yaml 中的路径（第 83 行）：

• URL：https://github.com/facebookresearch/dinov2?tab=readme-ov-file

如果您想从头开始训练，请下载 Stable Diffusion V2.1：

• URL：https://huggingface.co/stabilityai/stable-diffusion-2-1/tree/main

推理

我们在 run_inference.py 中提供了推理代码（从第 222 行开始），用于单张图像推理以及数据集推理（VITON-HD 测试）。您需要修改数据路径并运行以下代码。生成的结果分别保存在 examples/TestDreamBooth/GEN（单张图像）和 VITONGEN（VITON-HD 测试）中。

python run_inference.py

在 VITON 测试中的推理结果将类似于 [服装、真实标签、生成结果]。

请注意，AnyDoor 并未针对试穿任务进行特定设计或调优。我们认为添加骨骼信息或变形后的服装，并在试穿数据上进行调优，将有助于提升效果。

我们用于 DreamBooth 和 COCOEE 的评估数据可在 Google Drive 上下载：

• URL：[待发布]

Gradio 演示

目前，我们支持本地 Gradio 演示。要启动演示，您需要先修改 /configs/demo.yaml 中的预训练模型路径，以及 /configs/anydoor.yaml 中的 DINOv2 路径（第 83 行）。

之后，运行脚本：

python run_gradio_demo.py

Gradio 演示界面如下所示：

• 📢 此版本要求用户标注目标对象的掩码，过于粗糙的掩码会影响生成质量。我们计划在演示中加入掩码细化模块或交互式分割模块。

• 📢 我们提供了一个分割模块来细化用户标注的参考掩码。您可以通过在 /configs/demo.yaml 中设置 use_interactive_seg: False 来禁用该功能。

训练

准备数据集

• 下载 /configs/datasets.yaml 中列出的数据集，并修改相应的路径。
• 您可以根据 ./datasets 中的文件格式准备自己的数据集。
• 如果使用 UVO 数据集，您需要按照 ./datasets/Preprocess/uvo_process.py 处理 JSON 文件。
• 您可以参考 run_dataset_debug.py 来验证数据是否正确。

准备初始权重

• 如果您想从零开始训练，可以通过运行以下命令将下载的 SD 权重转换为控制副本：

sh ./scripts/convert_weight.sh  

开始训练

• 根据您的训练资源，在 run_train_anydoor.py 第 26–34 行修改训练超参数。我们验证过，使用 2 张 A100 显卡并设置批量累积=1，经过 30 万次迭代即可获得满意的效果。

• 通过执行以下命令开始训练：

sh ./scripts/train.sh  

🔥 社区贡献

@bdsqlsz

• AnyDoor for windows：https://github.com/sdbds/AnyDoor-for-windows
• 剪枝模型：https://modelscope.cn/models/bdsqlsz/AnyDoor-Pruned/summary

致谢

本项目基于 ControlNet 的代码库开发。我们非常感谢这项杰出的工作！

引用

如果您发现本代码库对您的研究有所帮助，请使用以下引用。

@article{chen2023anydoor,
  title={Anydoor: Zero-shot object-level image customization},
  author={Chen, Xi and Huang, Lianghua and Liu, Yu and Shen, Yujun and Zhao, Deli and Zhao, Hengshuang},
  journal={arXiv preprint arXiv:2307.09481},
  year={2023}
}

AnyDoor 快速上手指南

AnyDoor 是一个零样本（Zero-shot）对象级图像定制工具，能够将参考图中的特定物体无缝融合到目标场景中，保持物体的细节和身份特征。

环境准备

• 系统要求：Linux 系统（推荐），配备 NVIDIA GPU（建议显存 16GB 以上以进行训练或高质量推理）。
• 前置依赖：
  • Python 3.8+
  • Conda 或 Pip
  • Git

安装步骤

1. 创建虚拟环境

推荐使用 Conda 进行环境管理：

conda env create -f environment.yaml
conda activate anydoor

或者使用 Pip：

pip install -r requirements.txt

2. 安装额外依赖（仅训练需要）

如果您计划从头开始训练模型，需额外安装以下库。注意：此处已优先采用国内镜像源加速安装：

pip install git+https://github.com/cocodataset/panopticapi.git

pip install pycocotools -i https://pypi.douban.com/simple

pip install lvis

3. 下载预训练模型

请从以下任一地址下载权重文件：

• ModelScope (魔搭社区 - 推荐国内用户): 下载链接
• HuggingFace: 下载链接

提示：下载的 checkpoint 包含优化器参数，体积较大。若仅用于推理，可只保留 state_dict 部分以减小体积。

此外，还需下载以下基础模型并配置路径：

• DINOv2: 下载地址，下载后修改 /configs/anydoor.yaml 第 83 行的路径。
• Stable Diffusion V2.1 (仅训练需要): 下载地址。

基本使用

方式一：运行本地 Gradio 演示（推荐体验）

这是最直观的交互方式，允许上传参考图和目标图进行生成。

1. 配置文件修改：

   • 编辑 /configs/demo.yaml，填入预训练模型的路径。
   • 编辑 /configs/anydoor.yaml，填入 DINOv2 模型的路径（第 83 行）。
   • 可选：若需禁用交互式分割模块，可在 /configs/demo.yaml 中设置 use_interactive_seg: False。

2. 启动服务：

   python run_gradio_demo.py
   

3. 使用说明：

   • 在网页界面上传参考物体图片和目标场景图片。
   • 注意：当前版本需要用户手动标注目标物体的掩码（Mask）。掩码过于粗糙会影响生成质量，建议使用精细的分割结果。

方式二：命令行推理

适用于批量处理或集成到工作流中。

1. 修改配置： 打开 run_inference.py，定位到第 222 行之后，修改数据输入路径。

2. 执行推理：

   python run_inference.py
   

3. 结果查看：

   • 单张图片生成结果位于：examples/TestDreamBooth/GEN
   • VITON-HD 测试集结果位于：VITONGEN

小贴士：AnyDoor 本身未针对虚拟试衣（Try-on）做专门调优。若用于试衣任务，建议结合骨架信息或衣物变形技术，并在试衣数据上进行微调以获得更佳效果。