OOTDiffusion

本仓库是 OOTDiffusion 的官方实现。

🤗 体验 OOTDiffusion

（感谢 ZeroGPU 提供 A100 GPU）

OOTDiffusion：基于潜扩散的服饰融合技术，用于可控的虚拟试穿 [arXiv 论文]
Yuhao Xu、Tao Gu、Weifeng Chen、Chengcai Chen
小i研究院

我们在 VITON-HD（半身）和 Dress Code（全身）数据集上训练的模型检查点已发布。

• 🤗 Hugging Face 链接 提供 检查点（ootd、humanparsing 和 openpose）
• 📢📢 我们现在支持 humanparsing 的 ONNX 格式。大多数环境问题应该已经解决 : )
• 请同时将 clip-vit-large-patch14 下载到 checkpoints 文件夹中。
• 我们仅在 Linux（Ubuntu 22.04）上测试过代码和模型。

   

安装

1. 克隆仓库

git clone https://github.com/levihsu/OOTDiffusion

2. 创建 Conda 环境并安装所需包

conda create -n ootd python==3.10
conda activate ootd
pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2
pip install -r requirements.txt

推理

1. 半身模型

cd OOTDiffusion/run
python run_ootd.py --model_path <模型图像路径> --cloth_path <服装图像路径> --scale 2.0 --sample 4

2. 全身模型

服装类别必须配对：0 = 上衣；1 = 下装；2 = 连衣裙

cd OOTDiffusion/run
python run_ootd.py --model_path <模型图像路径> --cloth_path <服装图像路径> --model_type dc --category 2 --scale 2.0 --sample 4

引用

@article{xu2024ootdiffusion,
  title={OOTDiffusion: Outfitting Fusion based Latent Diffusion for Controllable Virtual Try-on},
  author={Xu, Yuhao and Gu, Tao and Chen, Weifeng and Chen, Chengcai},
  journal={arXiv preprint arXiv:2403.01779},
  year={2024}
}

星标历史

待办事项清单

• 论文
• Gradio 演示
• 推理代码
• 模型权重
• 训练代码

OOTDiffusion 快速上手指南

OOTDiffusion 是一个基于潜在扩散模型的可控虚拟试穿工具，支持半身（Half-body）和全身（Full-body）的服装替换。

环境准备

• 操作系统：仅限 Linux（已在 Ubuntu 22.04 上测试通过）。
• 硬件要求：推荐 NVIDIA GPU（官方演示使用 A100 或 RTX 4090）。
• 软件依赖：
  • Python 3.10
  • Conda (用于环境管理)
  • PyTorch 2.0.1 + CUDA 环境

安装步骤

1. 克隆项目代码

git clone https://github.com/levihsu/OOTDiffusion
cd OOTDiffusion

2. 创建并激活 Conda 环境

conda create -n ootd python==3.10
conda activate ootd

3. 安装深度学习框架

建议根据本地 CUDA 版本调整，以下为官方指定版本：

pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2

国内加速提示：如遇下载缓慢，可使用清华源或阿里源安装： pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 -i https://pypi.tuna.tsinghua.edu.cn/simple

4. 安装其他依赖

pip install -r requirements.txt

国内加速提示：同上，可添加 -i https://pypi.tuna.tsinghua.edu.cn/simple 参数。

5. 下载模型权重

请手动下载以下模型文件并放入项目根目录下的 checkpoints 文件夹中（需自行创建该文件夹）：

1. 核心模型：从 Hugging Face 下载 ootd, humanparsing, 和 openpose 相关权重。
2. CLIP 模型：下载 clip-vit-large-patch14 并放入 checkpoints 文件夹。

注意：目前人体解析（humanparsing）已支持 ONNX，可解决大部分环境兼容性问题。

基本使用

确保当前位于 OOTDiffusion/run 目录下，并根据需求选择半身或全身模式。

场景一：半身试穿 (Half-body)

适用于上衣等半身服装替换。

cd OOTDiffusion/run
python run_ootd.py --model_path <模特图片路径> --cloth_path <服装图片路径> --scale 2.0 --sample 4

场景二：全身试穿 (Full-body)

适用于连衣裙、上下装搭配等全身效果。 注意：必须指定 --model_type dc 和对应的 --category。

• 0: 上身 (upperbody)
• 1: 下身 (lowerbody)
• 2: 连衣裙 (dress)

cd OOTDiffusion/run
python run_ootd.py --model_path <模特图片路径> --cloth_path <服装图片路径> --model_type dc --category 2 --scale 2.0 --sample 4

参数说明：

• --model_path: 输入模特照片路径。
• --cloth_path: 输入服装商品图路径。
• --scale: 引导尺度，数值越高越贴近服装原图（默认 2.0）。
• --sample: 生成样本数量。
• 输出结果将保存在运行目录下的相应文件夹中。