MagicPose：具有身份感知扩散的逼真人体姿态与面部表情重定向

常迪¹ · 施一春² · 高权凯¹ · 徐洪毅² · 傅洁西卡¹ ·
宋国贤² · 严青² · 朱义哲² · 杨晓² · 穆罕默德·索莱曼尼¹ ·
¹南加州大学     ²字节跳动公司

                真实图像                 姿态输入                 TPS方法             Disco方法             MagicDance方法

新闻

• [2024.04.03] 更新与同期工作的对比结果。
• [2024.02.21] 更新多GPU训练、数据加载器以及使用自有数据进行训练的说明。
• [2024.02.15] 发布训练与推理代码。
• [2024.02.02] 发布更新后的论文——MagicPose。方法和数据完全一致。
• [2023.11.18] 发布MagicDance论文及项目页面。

相关开源工作

• Disco，来自微软
• MagicAnimate，来自字节跳动新加坡团队

与同期工作的对比

与Animate Anyone的对比

与MagicAnimate的对比

MagicPose与MagicAnimate在面部表情编辑上的对比。MagicAnimate无法生成多样化的面部表情，而MagicPose则可以。

MagicPose与MagicAnimate在野外场景下姿态重定向任务上的对比。MagicAnimate无法生成人物背面的姿态，而MagicPose则能够做到。

快速上手

若需对TikTok数据集或您自己的图像与姿态序列进行推理，请下载我们的MagicDance 检查点。

如需进行外观控制预训练，请下载适用于StableDiffusion V1.5的预训练模型。

对于外观解耦的姿态控制任务，请下载预训练的外观控制模型和预训练的ControlNet OpenPose。

预处理后的TikTok数据集可从这里下载。由于OpenPose可能无法检测某些图像中的人体姿态骨架，我们将过滤掉这些失败案例，并在干净的数据上训练我们的模型。

请按以下方式放置预训练权重和数据集：

MagicDance
|----TikTok-v4
|----pretrained_weights
  |----control_v11p_sd15_openpose.pth
  |----control_sd15_ini.ckpt
  |----model_state-110000.th
  |----model_state-10000.th  
|----...

运行环境

我使用的机器环境为python==3.9、pytorch==1.13.1、CUDA==11.7。您可以根据本地环境选择其他版本的依赖项。

conda env create -f environment.yaml
conda activate magicpose

使用您自己的图像和姿态序列进行推理：

bash scripts/inference_any_image_pose.sh

我们在“example_data”中提供了一些示例图像和姿态，您只需替换inference_any_image_pose.sh脚本中的“local_cond_image_path”和“local_pose_path”参数，即可轻松地使用自己的图像或姿态序列进行推理。以下展示了一些来自域外图像的有趣输出：

我们的模型还能够将T2I模型生成的图像姿态进行重定向。

推理

在测试集上进行推理：

bash scripts/inference_tiktok_dataset.sh

我们使用与DisCo完全相同的代码来进行指标评估。以下展示了一些由我们的模型生成的示例输出：

训练

外观控制预训练：

bash scripts/appearance_control_pretraining.sh

外观解耦的姿态控制：

bash scripts/appearance_disentangle_pose_control.sh

多GPU训练：

我们已经在Python训练脚本中实现了DistributedDataParallel。如果您希望使用多块GPU而不是您机器上的第一块GPU进行训练，请参阅以下示例脚本：

CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 torchrun --master_port 10000 --nproc_per_node 8 train_tiktok.py \

这将使用8块GPU，并启动8个进程（nproc_per_node=8）来进行训练。

使用您自己的视频数据进行训练

要使用您自己的数据集进行训练，首先需要对输入的图像或视频运行openpose，并保存可视化的人体姿态图。然后，按照TikTok数据集中的格式组织这些数据。您也可以参考DisCo-OpenPose预处理或ControlNet-OpenPose，我们在管道中使用的正是相同的姿态ControlNet。 接下来，在dataset/tiktok_video_arnold_copy.py中设置您的数据路径。

您的数据集
|----train_set
  |----video_000
    |----000.jpg
    |----001.jpg
    |----002.jpg
    ...
  |----video_001
  |----video_002
  ...
|----pose_map_train_set
  |----video_000
    |----000.jpg
    |----001.jpg
    |----002.jpg
    ...
  |----video_001
  |----video_002
  ...
|----val_set
|----pose_map_val_set
|----test_set
|----pose_map_test_set
|----...

一些提示

关于任务

根据我们在该项目中的经验，动作重定向任务是一个非常依赖数据的任务。生成结果高度依赖于训练数据，例如姿态跟踪器的质量、视频序列的数量以及每段视频中的帧数。您可以考虑采用像MagicAnimate中使用的DensePose、Animate Anyone中使用的DWPose或其他几何控制方法，以获得更好的生成质量。我们也尝试过MMPose，它在姿态检测方面表现稍好一些。引入额外的训练数据会带来更好的性能，可以考虑使用其他真人半身或全身数据集，例如TaiChi/DeepFashion，来进行进一步的微调。

关于代码

代码中的大多数参数都比较直观易懂。以下是一些关键参数的说明：

• model_config 模型架构配置文件的相对或绝对路径。
• img_bin_limit 训练过程中随机选择源图像和目标图像的最大步长。在推理阶段，该值被设置为“all”。
• control_mode 此参数控制推理过程中的Image-CFG。“controlnet_important”表示使用Image-CFG，“balance”则表示不使用。
• wonoise 参考图像在输入到外观控制模型时不会添加噪声。
• with_text 当设置为“with_text”时，文本不会用于训练。（我知道这有点让人困惑，哈哈）
• finetune_control 对外观控制模型（以及姿态ControlNet）进行微调。
• output_dir 用于保存检查点的相对或绝对路径。
• local_image_dir 用于保存图像输出的相对或绝对路径。
• image_pretrain_dir 用于加载外观控制模型检查点的相对或绝对路径。
• pose_pretrain_dir 姿态ControlNet的相对或绝对路径。

引用

如果您觉得我们的工作有用，请考虑引用：

@article{chang2023magicdance,
  title={MagicDance: Realistic Human Dance Video Generation with Motions \& Facial Expressions Transfer},
  author={Chang, Di and Shi, Yichun and Gao, Quankai and Fu, Jessica and Xu, Hongyi and Song, Guoxian and Yan, Qing and Yang, Xiao and Soleymani, Mohammad},
  journal={arXiv preprint arXiv:2311.12052},
  year={2023}
}

许可证

我们的代码遵循USC研究许可证进行分发。更多信息请参阅LICENSE.txt文件。

致谢

本研究得到了美国陆军研究办公室的资助，合作协议编号为W911NF-20-2-0053。本文所表达的观点和结论属于作者个人，不应被视为代表美国陆军研究办公室或美国政府的官方政策，无论是明示还是暗示。美国政府有权在不考虑本文任何版权标注的情况下，为政府目的复制和分发本文的副本。

我们的代码参考了多个优秀的开源项目。感谢这些项目将他们的代码公开分享。同时，我们也感谢Tan Wang在基线对比实验中提供的帮助。

• DisCo
• AnimateDiff
• ControlNet

MagicDance 快速上手指南

MagicDance（论文中称为 MagicPose）是一个基于身份感知扩散模型的工具，能够实现逼真的人体姿态迁移和面部表情重定向。本指南帮助开发者快速完成环境配置并运行推理。

环境准备

系统要求

• 操作系统: Linux (推荐)
• Python: 3.9
• PyTorch: 1.13.1
• CUDA: 11.7 (可根据本地环境调整版本)
• 显存: 建议 16GB 及以上以流畅运行推理

前置依赖

确保已安装 conda 或 mamba 包管理器。

安装步骤

1. 克隆仓库

git clone https://github.com/Boese0601/MagicDance.git
cd MagicDance

2. 创建虚拟环境

使用项目提供的配置文件创建环境：

conda env create -f environment.yaml
conda activate magicpose

提示：如果 environment.yaml 下载依赖较慢，可手动创建环境后，使用国内镜像源（如清华源）安装 requirements.txt 中的依赖。

3. 下载预训练模型与数据

请创建以下目录结构，并将下载的权重文件放入对应位置：

MagicDance
|----TikTok-v4              # 存放数据集（可选，仅测试集推理需要）
|----pretrained_weights     # 存放所有预训练权重
  |----control_v11p_sd15_openpose.pth
  |----control_sd15_ini.ckpt
  |----model_state-110000.th
  |----model_state-10000.th  
|----...

所需文件下载链接：

1. 主模型检查点: Google Drive (包含 model_state-*.th)
2. StableDiffusion V1.5 外观控制预训练模型: HuggingFace
3. 外观控制模型: Google Drive
4. ControlNet OpenPose: HuggingFace

(注：若需运行完整测试集评估，可下载预处理后的 TikTok 数据集，链接见原文 README)

基本使用

自定义图片与姿态序列推理

这是最常用的功能，将指定的人物图片驱动为指定的姿态视频。

1. 准备一张人物参考图（reference.jpg）和一个姿态序列文件夹（包含按顺序命名的姿态图，如 000.jpg, 001.jpg...）。
2. 修改脚本 scripts/inference_any_image_pose.sh 中的路径参数：
   • local_cond_image_path: 指向你的参考图片路径。
   • local_pose_path: 指向你的姿态序列文件夹路径。
3. 运行推理脚本：

bash scripts/inference_any_image_pose.sh

生成的输出图像将保存在配置的输出目录中。

示例数据测试

项目自带了示例数据位于 example_data 目录。若未修改脚本参数，直接运行上述命令即可使用默认示例数据进行测试，验证环境是否配置成功。

多 GPU 推理（可选）

如需加速或在多卡机器上运行，可参考训练部分的 torchrun 命令格式调整推理脚本，通常单卡即可满足推理需求。