HR-VITON — 官方 PyTorch 实现

***** 我们团队的新后续研究已在 https://github.com/rlawjdghek/PromptDresser 上发布 *****

我们团队的研究成果

(1) PromptDresser (https://github.com/rlawjdghek/PromptDresser) - ArXiv 2024年12月
(2) StableVITON (https://github.com/rlawjdghek/StableVITON) - CVPR 2024
(3) VITON-HD (https://github.com/shadow2496/VITON-HD) - CVPR 2021

处理错位与遮挡的高分辨率虚拟试穿
Sangyun Lee*¹, Gyojung Gu*^2,3, Sunghyun Park², Seunghwan Choi², Jaegul Choo^2
1崇实大学，²KAIST，³Nestyle
收录于 ECCV 2022（* 表示共同第一作者）

论文：https://arxiv.org/abs/2206.14180
项目页面：https://koo616.github.io/HR-VITON

摘要： 基于图像的虚拟试穿旨在合成一个人穿着指定服装的图像。现有方法通常先将服装变形以贴合人体，再生成穿着该服装的人体分割图，最后将服装与人体融合。然而，当变形和分割生成这两个步骤独立进行、缺乏信息交互时，会导致变形后的服装与分割图之间出现错位，从而在最终图像中产生伪影。此外，这种信息断层还会导致在被身体部位遮挡的服装区域附近发生过度变形，即所谓的“像素挤压”伪影。为解决这些问题，我们提出了一种新颖的试穿条件生成器，作为变形和分割生成两个阶段的统一模块。该生成器中的新型特征融合模块实现了信息交互，从而避免了错位和像素挤压伪影的产生。同时，我们引入了判别器拒绝机制，用于过滤掉不正确的分割预测，确保虚拟试穿框架的性能。在高分辨率数据集上的实验表明，我们的模型能够有效处理错位与遮挡问题，并显著优于基线方法。

安装

克隆本仓库：

git clone https://github.com/sangyun884/HR-VITON.git
cd ./HR-VITON/

安装 PyTorch 及其他依赖项：

conda create -n {env_name} python=3.8
conda activate {env_name}
conda install pytorch torchvision torchaudio cudatoolkit=11.1 -c pytorch-lts -c nvidia
pip install opencv-python torchgeometry Pillow tqdm tensorboardX scikit-image scipy

数据集

我们使用来自 VITON-HD: 基于错位感知归一化的高分辨率虚拟试穿 的数据集来训练和评估模型。 请访问以下链接下载数据集：https://github.com/shadow2496/VITON-HD。 假设您已将其下载至 ./data 目录。

推理

以下是各模型检查点的下载链接：

• 试穿条件生成器：链接
• 试穿条件生成器（带判别器）：链接
• 试穿图像生成器：链接
• AlexNet (LPIPS)：链接，假设您已将其下载至 ./eval_models/weights/v0.1。

python3 test_generator.py --occlusion --cuda {True} --test_name {test_name} --tocg_checkpoint {条件生成器检查点} --gpu_ids {gpu_ids} --gen_checkpoint {图像生成器检查点} --datasetting unpaired --dataroot {数据集路径} --data_list {配对列表文本文件}

训练试穿条件生成器

python3 train_condition.py --cuda {True} --gpu_ids {gpu_ids} --Ddownx2 --Ddropout --lasttvonly --interflowloss --occlusion

训练试穿图像生成器

python3 train_generator.py --cuda {True} --name test -b 4 -j 8 --gpu_ids {gpu_ids} --fp16 --tocg_checkpoint {条件生成器检查点路径} --occlusion

此阶段在两块 RTX 3090 显卡上大约需要 4 天。测试环境：PyTorch 1.8.2+cu111。 若要使用 --fp16 选项，需安装 apex 库。

许可证

所有材料均依据 知识共享署名-非商业性使用 4.0 协议开放。您可以在非商业用途下使用、再分发和改编这些材料，但必须通过引用我们的论文并注明您所做的任何修改来给予适当署名。

引用

如果您认为本工作对您的研究有所帮助，请引用我们的论文：

@article{lee2022hrviton,
  title={High-Resolution Virtual Try-On with Misalignment and Occlusion-Handled Conditions},
  author={Lee, Sangyun and Gu, Gyojung and Park, Sunghyun and Choi, Seunghwan and Choo, Jaegul},
  journal={arXiv preprint arXiv:2206.14180},
  year={2022}
}

HR-VITON 快速上手指南

HR-VITON 是一个用于高分辨率虚拟试衣的 PyTorch 实现，能够有效处理衣物与人体姿态的对齐偏差（Misalignment）及遮挡（Occlusion）问题。

环境准备

• 操作系统: Linux (推荐)
• Python: 3.8
• CUDA: 11.1 (对应 cudatoolkit=11.1)
• GPU: 建议使用 NVIDIA GPU (训练阶段推荐双卡 RTX 3090)
• 额外依赖: 若需开启混合精度训练 (--fp16)，需预先安装 apex 库。

安装步骤

1. 克隆项目

git clone https://github.com/sangyun884/HR-VITON.git
cd ./HR-VITON/

2. 创建并激活虚拟环境

conda create -n hr-viton python=3.8
conda activate hr-viton

3. 安装 PyTorch 及依赖

注意：国内用户建议使用清华或中科大镜像源加速下载。以下命令已调整为使用国内镜像源安装基础包，其余 pip 包也指定了国内源。

# 安装 PyTorch (指定 CUDA 11.1)
conda install pytorch torchvision torchaudio cudatoolkit=11.1 -c pytorch-lts -c nvidia

# 安装其他 Python 依赖 (使用清华镜像加速)
pip install opencv-python torchgeometry Pillow tqdm tensorboardX scikit-image scipy -i https://pypi.tuna.tsinghua.edu.cn/simple

(可选) 若需使用 --fp16 参数训练，请另行安装 apex:

git clone https://github.com/NVIDIA/apex
cd apex
pip install -v --no-cache-dir . --global-option="--cpp_ext" --global-option="--cuda_ext"

基本使用 (推理演示)

在运行推理前，请确保已完成以下步骤：

1. 数据集准备：下载 VITON-HD 数据集并放置于 ./data 目录。
2. 模型权重下载：从 README 提供的 Google Drive 链接下载以下检查点：
   • Try-on condition generator
   • Try-on image generator
   • AlexNet (LPIPS) -> 放置于 ./eval_models/weights/v0.1

执行推理

将 {condition generator ckpt} 和 {image generator ckpt} 替换为实际下载的文件路径，{dataset_path} 替换为数据根目录，{pair_list_textfile} 替换为测试对列表文件路径。

python3 test_generator.py --occlusion --cuda {True} --test_name demo_test --tocg_checkpoint ./checkpoints/condition_gen.pth --gpu_ids 0 --gen_checkpoint ./checkpoints/image_gen.pth --datasetting unpaired --dataroot ./data --data_list ./data/test_pairs.txt

注：上述命令中的路径仅为示例，请根据实际文件位置修改。