MagicTryOn：利用扩散Transformer实现服装保真度的视频虚拟试穿

       

MagicTryOn 是一个基于大规模视频扩散Transformer的视频虚拟试穿框架。1) 它采用 Wan2.1 扩散Transformer 作为骨干网络，2) 并使用全自注意力机制来建模时空一致性。3) 引入了由粗到精的服装保真策略，并结合掩码感知损失以提升服装区域的保真度。

📣 新闻

• 2025/12/26: 🎉 我们已更新 MagicTryOn-1.3B 🤗HuggingFace。
• 2025/06/09: 🎉 我们很高兴地宣布，MagicTryOn 的 代码 已经发布！快来看看吧！权重也已发布！！！。您可以通过 🤗HuggingFace 下载权重。
• 2025/05/27: 我们的 论文已在 ArXiv 上发布，太棒了🥳！

✅ MagicTryOn 发布待办事项

• ✅ 发布源代码
• ✅ 发布推理演示和 14B 预训练权重
• ✅ 发布定制化的试穿工具
• ✅ 发布 MagicTryOn-1.3B 权重
• [ ] 发布 MagicTryOn-Turbo

🤝 社区支持

当前版本的 MagicTryOn 是在公开数据集 VITON-HD、DressCode 和 ViViD 上训练的。如果社区有兴趣在真实场景的数据集上训练 MagicTryOn，以更好地支持实际的虚拟试穿场景，请随时联系我们。我们很乐意提供相应的训练脚本。

😍 安装

创建 conda 环境并安装依赖项

# python==3.12.9 cuda==12.3 torch==2.2
conda create -n magictryon python==3.12.9
conda activate magictryon
pip install -r requirements.txt
# 或
conda env create -f environment.yaml

如果您在安装 Flash Attention 时遇到错误，请根据您的 Python 版本、CUDA 版本和 Torch 版本，手动下载 安装包，并使用 pip install flash_attn-2.7.3+cu12torch2.2cxx11abiFALSE-cp312-cp312-linux_x86_64.whl 进行安装。

使用以下命令下载权重：

cd Magic-TryOn
HF_ENDPOINT=https://hf-mirror.com huggingface-cli download LuckyLiGY/MagicTryOn --local-dir ./weights/MagicTryOn_14B_V1

😉 推理演示

1. 图像试穿

您可以直接运行以下命令进行图像试穿演示。如果您想修改一些推理参数，请在 predict_image_tryon_up.py 文件中进行调整。

CUDA_VISIBLE_DEVICES=0 python inference/image_tryon/predict_image_tryon_up.py

CUDA_VISIBLE_DEVICES=1 python inference/image_tryon/predict_image_tryon_low.py

2. 视频试穿

您可以直接运行以下命令进行视频试穿演示。如果您想修改一些推理参数，请在 predict_video_tryon_up.py 文件中进行调整。

CUDA_VISIBLE_DEVICES=0 python inference/video_tryon/predict_video_tryon_up.py

CUDA_VISIBLE_DEVICES=1 python inference/video_tryon/predict_video_tryon_low.py

3. 自定义试穿

在进行自定义试穿之前，您需要完成以下五个步骤以获取所需内容：

1. 服装描述文本
   为服装生成一段描述性文本，可用于条件控制或多模态控制。我们使用 Qwen/Qwen2.5-VL-7B-Instruct 来获取该描述文本。运行前，您需要指定文件夹路径。

   python inference/customize/get_garment_caption.py
   

2. 服装线稿图
   使用 AniLines-Anime-Lineart-Extractor 提取服装的结构线条或草图。请从此 链接 下载预训练模型，并将其放入 inference/customize/AniLines/weights 文件夹中。

    python inference/customize/AniLines/infer.py --dir_in datasets/garment/vivo/vivo_garment --dir_out datasets/garment/vivo/vivo_garment_anilines --mode detail --binarize -1 --fp16 True --device cuda:1
   

3. 掩码
   生成服装的不可知论掩码，这是试穿过程中进行区域控制所必需的。请 下载 获取不可知论掩码所需的检查点文件。该检查点需放置在 inference/customize/gen_mask/ckpt 文件夹中。

   (1) 您需要将视频重命名为 video.mp4，然后按照以下目录结构构建文件夹：

   ├── datasets
   │   ├── person
   |   |   ├── customize
   │   │   │   ├── video
   │   │   │   │   ├── 00001
   │   │   │   │   │   ├── video.mp4
   |   |   |   |   ├── 00002 ...
   │   │   │   ├── image
   │   │   │   │   ├── 00001
   │   │   │   │   │   │   ├── images
   │   │   │   │   │   │   │   ├── 0000.png
   |   |   |   |   ├── 00002 ...
   

   (2) 使用 video2image.py 将视频转换为图像帧，并保存到 datasets/person/customize/video/00001/images 文件夹中。

   (3) 运行以下命令以获取不可知论掩码。

    python inference/customize/gen_mask/app_mask.py
    # 如果提取下装或连衣裙的掩码，请修改第65行。
    # 如果是下装：
    # mask, _ = get_mask_location('dc', "lower_body", model_parse, keypoints)
    # 如果是连衣裙：
    # mask, _ = get_mask_location('dc', "dresses", model_parse, keypoints)
   

   完成上述步骤后，您将在 datasets/person/customize/video/00001/masks 文件夹中获得所有视频帧的不可知论掩码。

4. 不可知论表征
   通过去除服装特有特征来构建人物的不可知论表征。您可以直接运行 get_masked_person.py 来获取不可知论表征。请确保修改 --image_folder 和 --mask_folder 参数。生成的视频帧将存储在 datasets/person/customize/video/00001/agnostic 文件夹中。

5. 密集人体坐标（DensePose）
   使用 DensePose 获取经过 UV 映射的密集人体坐标，以便更好地进行空间对齐。

   (1) 安装 detectron2。

   (2) 运行以下命令：

    bash inference/customize/detectron2/projects/DensePose/run.sh
   

   (3) 生成的结果将存储在 datasets/person/customize/video/00001/image-densepose 文件夹中。

完成以上步骤后，运行 image2video.py 文件以生成所需的自定义视频：mask.mp4、agnostic.mp4 和 densepose.mp4。然后，运行以下命令：

CUDA_VISIBLE_DEVICES=0 python inference/video_tryon/predict_video_tryon_customize.py

😘 致谢

我们的代码基于 VideoX-Fun 修改而来。我们采用 Wan2.1-I2V-14B 作为基础模型。我们使用 SCHP、openpose 和 DensePose 来生成掩码。我们使用 detectron2 生成密集人体坐标。我们使用 Qwen/Qwen2.5-VL-7B-Instruct 生成服装描述文本，并使用 AniLines-Anime-Lineart-Extractor 获取服装线稿图。感谢所有贡献者！

😊 许可证

所有材料，包括代码、检查点和演示，均根据 知识共享署名-非商业性使用-相同方式共享 4.0 协议提供。只要您给予适当的署名并以相同的许可证分发您的贡献，您就可以出于非商业目的自由复制、再分发、混编、转换和扩展本项目。

⭐ 星标历史

🤩 引用

@article{li2025magictryon,
  title={MagicTryOn: 利用扩散Transformer实现服装保留的视频虚拟试穿},
  author={李广源、郑思明、张浩、陈锦伟、栾俊生、欧彬凯、赵磊、李博、蒋鹏涛},
  journal={arXiv预印本 arXiv:2505.21325},
  year={2025}
}

MagicTryOn 快速上手指南

MagicTryOn 是一个基于大规模视频扩散 Transformer（Wan2.1）的视频虚拟试穿框架。它通过全自注意力机制建模时空一致性，并采用由粗到细的服装保留策略，能够实现高保真的视频试穿效果。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐)
• Python: 3.12.9
• CUDA: 12.3
• PyTorch: 2.2
• 显卡: 建议使用支持 CUDA 的 NVIDIA 显卡（运行 14B 模型需要较大显存，1.3B 版本对显存要求较低）

2. 安装步骤

2.1 创建 Conda 环境并安装依赖

推荐使用国内镜像源加速下载过程。

# 创建环境
conda create -n magictryon python==3.12.9
conda activate magictryon

# 设置 pip 国内镜像 (可选，推荐)
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

# 安装依赖
pip install -r requirements.txt

# 或者使用 environment.yaml 创建完整环境
# conda env create -f environment.yaml

注意：Flash Attention 安装 如果在安装 flash-attn 时遇到报错，请根据您的 Python、CUDA 和 Torch 版本，前往 GitHub Releases 手动下载对应的 .whl 文件进行安装。例如：

pip install flash_attn-2.7.3+cu12torch2.2cxx11abiFALSE-cp312-cp312-linux_x86_64.whl

2.2 下载模型权重

项目提供了 Hugging Face 镜像地址以方便国内用户下载。以下命令将下载 14B 版本的预训练权重：

cd Magic-TryOn
HF_ENDPOINT=https://hf-mirror.com huggingface-cli download LuckyLiGY/MagicTryOn --local-dir ./weights/MagicTryOn_14B_V1

提示: 如果您想尝试更轻量级的版本，可以从 HuggingFace 下载 MagicTryOn-1.3B 权重。

3. 基本使用

MagicTryOn 支持图像试穿和视频试穿两种模式。默认情况下，脚本会读取预设的测试数据进行推理。

3.1 图像试穿 (Image TryOn)

运行以下命令即可生成图像试穿结果。您可以根据显卡情况选择不同精度的脚本（up 为高精度，low 为低精度/快速版）。

# 使用第一块显卡运行高精度图像试穿
CUDA_VISIBLE_DEVICES=0 python inference/image_tryon/predict_image_tryon_up.py

# 或使用第二块显卡运行低精度图像试穿
CUDA_VISIBLE_DEVICES=1 python inference/image_tryon/predict_image_tryon_low.py

如需修改输入图片或参数，请编辑 inference/image_tryon/predict_image_tryon_up.py 文件。

3.2 视频试穿 (Video TryOn)

运行以下命令进行视频虚拟试穿演示：

# 使用第一块显卡运行高精度视频试穿
CUDA_VISIBLE_DEVICES=0 python inference/video_tryon/predict_video_tryon_up.py

# 或使用第二块显卡运行低精度视频试穿
CUDA_VISIBLE_DEVICES=1 python inference/video_tryon/predict_video_tryon_low.py

如需修改输入视频或参数，请编辑 inference/video_tryon/predict_video_tryon_up.py 文件。

3.3 自定义试穿 (Customize TryOn)

如果您希望使用自己的服装和人物视频进行试穿，需要预先处理数据以生成必要的条件信号（包括服装描述、线稿、掩码、无服装人物表示及 DensePose）。

简要流程：

1. 生成服装描述 (Cloth Caption):

   python inference/customize/get_garment_caption.py
   

2. 提取服装线稿 (Cloth Line Map): 需先下载 AniLines 预训练模型至 inference/customize/AniLines/weights。

   python inference/customize/AniLines/infer.py --dir_in datasets/garment/vivo/vivo_garment --dir_out datasets/garment/vivo/vivo_garment_anilines --mode detail --binarize -1 --fp16 True --device cuda:1
   

3. 生成掩码 (Mask): 需下载相关 checkpoint 至 inference/customize/gen_mask/ckpt，并按目录结构整理视频/图片数据后运行：

   python inference/customize/gen_mask/app_mask.py
   

4. 生成无服装人物表示 (Agnostic Representation):

   # 记得修改 --image_folder 和 --mask_folder 参数
   python get_masked_person.py 
   

5. 生成 DensePose: 需安装 detectron2 后运行：

   bash inference/customize/detectron2/projects/DensePose/run.sh
   

完成上述预处理后，生成所需的 mp4 文件 (mask.mp4, agnostic.mp4, densepose.mp4)，最后运行自定义推理命令：

CUDA_VISIBLE_DEVICES=0 python inference/video_tryon/predict_video_tryon_customize.py