我们的团队后续研究

1. [新!] PromptDresser (https://github.com/rlawjdghek/PromptDresser) - Arxiv 24.12
2. StableVITON (https://github.com/rlawjdghek/StableVITON) - CVPR 2024
3. HR-VITON (https://github.com/sangyun884/HR-VITON) - ECCV 2022

VITON-HD — 官方 PyTorch 实现

***** 2025-04-27：数据集链接已更新。由此带来的不便，我们深表歉意。*****

VITON-HD：基于错位感知归一化的高分辨率虚拟试穿
Seunghwan Choi*¹, Sunghyun Park*¹, Minsoo Lee*¹, Jaegul Choo^1
1KAIST
收录于 CVPR 2021。（* 表示共同第一作者）

论文：https://arxiv.org/abs/2103.16874
项目页面：https://psh01087.github.io/VITON-HD

摘要： 基于图像的虚拟试穿任务旨在将目标服装转移到人物相应区域，通常通过将服装拟合到指定的身体部位，并将其与人物图像融合来实现。尽管相关研究日益增多，但合成图像的分辨率仍然较低（例如 256×192），这成为满足在线消费者需求的关键瓶颈。我们认为，这一局限性源于几个挑战：随着分辨率的提高，变形后的服装与目标区域之间的错位部分在最终结果中会变得更加明显；现有方法所采用的网络架构在生成高质量人体部位以及保持服装纹理清晰度方面表现不佳。为应对这些挑战，我们提出了一种名为 VITON-HD 的新型虚拟试穿方法，能够成功合成 1024×768 分辨率的虚拟试穿图像。具体而言，我们首先准备分割图以指导虚拟试穿过程，然后将目标服装大致拟合到给定的人物身体上。接下来，我们提出了 ALIgnment-Aware Segment (ALIAS) 归一化和 ALIAS 生成器，用于处理错位区域并保留 1024×768 输入的细节。通过与现有方法的严格对比，我们证明 VITON-HD 在定性和定量两方面均显著优于基线方法，在合成图像质量上表现出色。

数据集

我们收集了一个 1024×768 分辨率的虚拟试穿数据集，仅用于 科研目的。 您可以从 这里 下载预处理后的数据集。 该数据集包含正面视角的女性图像与上衣图像对，分为训练集和测试集，分别包含 11,647 对和 2,032 对。

安装

克隆本仓库：

git clone https://github.com/shadow2496/VITON-HD.git
cd ./VITON-HD/

安装 PyTorch 及其他依赖项：

conda create -y -n [ENV] python=3.8
conda activate [ENV]
conda install -y pytorch=[>=1.6.0] torchvision cudatoolkit=[>=9.2] -c pytorch
pip install opencv-python torchgeometry

预训练模型

我们提供了预训练模型和来自测试集的示例图像。请从 VITON-HD Google Drive 文件夹 下载 *.pkl 文件和测试图像，并解压 *.zip 文件。test.py 脚本假设下载的文件已放置在 ./checkpoints/ 和 ./datasets/ 目录中。

测试

要生成虚拟试穿图像，请运行：

CUDA_VISIBLE_DEVICES=[GPU_ID] python test.py --name [NAME]

结果将保存在 ./results/ 目录中。您可以通过指定 --save_dir 参数来更改保存位置。要合成不同人物与服装组合的虚拟试穿图像，请编辑 ./datasets/test_pairs.txt 文件，然后运行相同的命令。

[!注意] 用于服装无关的人体表示的预处理代码在 HR-VITON 中略有不同。

许可证

所有材料均根据 知识共享署名-非商业性使用 4.0 协议提供。您可以在 非商业用途 下 使用、再分发和改编 本材料，但需适当注明出处，即 引用我们的论文，并 注明您所做的任何修改。

引用

如果您认为本工作对您的研究有所帮助，请引用我们的论文：

@inproceedings{choi2021viton,
  title={VITON-HD: High-Resolution Virtual Try-On via Misalignment-Aware Normalization},
  author={Choi, Seunghwan and Park, Sunghyun and Lee, Minsoo and Choo, Jaegul},
  booktitle={Proc. of the IEEE conference on computer vision and pattern recognition (CVPR)},
  year={2021}
}

VITON-HD 快速上手指南

VITON-HD 是一个基于 PyTorch 的高分辨率虚拟试衣开源项目，能够生成 1024x768 分辨率的试衣图像，有效解决了传统方法在高分辨率下衣物错位和纹理模糊的问题。

环境准备

• 操作系统: Linux (推荐)
• Python: 3.8
• PyTorch: >= 1.6.0
• CUDA: >= 9.2
• 其他依赖: torchvision, opencv-python, torchgeometry

注意：请确保您的显卡显存充足，以支持高分辨率图像的推理。

安装步骤

1. 克隆代码库

git clone https://github.com/shadow2496/VITON-HD.git
cd ./VITON-HD/

2. 创建并激活虚拟环境

conda create -y -n viton-hd python=3.8
conda activate viton-hd

3. 安装深度学习框架

国内用户建议使用清华或中科大镜像源加速安装：

# 使用清华镜像源安装 PyTorch (示例版本，可根据实际 CUDA 版本调整)
conda install -y pytorch torchvision cudatoolkit -c pytorch -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/

若上述命令不可用，请使用官方命令：

conda install -y pytorch=[>=1.6.0] torchvision cudatoolkit=[>=9.2] -c pytorch

4. 安装其他 Python 依赖

pip install opencv-python torchgeometry -i https://pypi.tuna.tsinghua.edu.cn/simple

5. 下载预训练模型与测试数据

从 Google Drive 下载以下内容：

• *.pkl 预训练权重文件
• 测试集图片及配对文件

将下载的文件解压并放置到以下目录结构中：

• 权重文件 -> ./checkpoints/
• 数据集文件 -> ./datasets/

(注：如果无法访问 Google Drive，需自行寻找国内网盘搬运资源或联系作者获取)

基本使用

完成环境配置和数据准备后，即可运行推理脚本生成虚拟试衣图像。

运行测试命令

将 [GPU_ID] 替换为您的显卡编号（如 0），[NAME] 替换为您在 checkpoints 中对应的模型名称（通常为实验名称）：

CUDA_VISIBLE_DEVICES=[GPU_ID] python test.py --name [NAME]

结果查看

生成的试衣图像默认保存在 ./results/ 目录下。

自定义试衣配对

若要尝试不同的人物与衣物组合，请编辑 ./datasets/test_pairs.txt 文件，修改其中的人物图像路径和衣物图像路径，然后重新运行上述命令即可。

提示：如需更改结果保存路径，可在命令中添加 --save_dir 参数指定新目录。