Champ：基于3D参数化引导的可控且一致的人体图像动画

https://github.com/fudan-generative-vision/champ/assets/82803297/b4571be6-dfb0-4926-8440-3db229ebd4aa

框架

新闻

• 2024/05/05: 🎉🎉🎉HuggingFace上的样本训练数据发布。

• 2024/05/02: 🌟🌟🌟训练源代码发布 #99。

• 2024/04/28: 👏👏👏在Blender中平滑SMPL的方法发布 #96。

• 2024/04/26: 🚁各种SMPL处理的优秀Blender插件CEB Studios!

• 2024/04/12: ✨✨✨SMPL和渲染脚本发布！现在就可以用Champ制作你的舞蹈视频💃🤸‍♂️🕺。请参阅文档。

• 2024/03/30: 🚀🚀🚀社区提供的惊人ComfyUI封装。这里有一个视频教程。感谢@kijai🥳

• 2024/03/27: 在replicate上的酷炫演示🌟。感谢@camenduru👏

• 2024/03/27: 访问我们的路线图🕒，预览Champ的未来。

安装

• 系统要求：Ubuntu20.04/Windows 11，Cuda 12.1
• 测试过的GPU：A100、RTX3090

创建conda环境：

  conda create -n champ python=3.10
  conda activate champ

使用pip安装包：

  pip install -r requirements.txt

使用poetry安装包：

如果您想在Windows设备上运行该项目，我们强烈建议使用poetry。

poetry install --no-root

推理

推理入口脚本是${PROJECT_ROOT}/inference.py。在测试您的案例之前，需要完成两项准备工作：

1. 下载所有必需的预训练模型。
2. 准备您的引导动作。
3. 运行推理。

下载预训练模型

您可以从我们的HuggingFace仓库轻松获取推理所需的所有预训练模型。

通过以下命令将预训练模型克隆到${PROJECT_ROOT}/pretrained_models目录：

git lfs install
git clone https://huggingface.co/fudan-generative-ai/champ pretrained_models

或者您可以从各自的源仓库单独下载：

• Champ检查点：包括去噪UNet、引导编码器、参考UNet和运动模块。
• StableDiffusion V1.5：由Stable-Diffusion-v1-2初始化并微调。（感谢runwayml）
• sd-vae-ft-mse：权重旨在与diffusers库一起使用。（感谢stabilityai）
• image_encoder：由CompVis/stable-diffusion-v1-4-original微调而来，以接受CLIP图像嵌入而非文本嵌入。（感谢lambdalabs）

最终，这些预训练模型应按如下方式组织：

./pretrained_models/
|-- champ
|   |-- denoising_unet.pth
|   |-- guidance_encoder_depth.pth
|   |-- guidance_encoder_dwpose.pth
|   |-- guidance_encoder_normal.pth
|   |-- guidance_encoder_semantic_map.pth
|   |-- reference_unet.pth
|   `-- motion_module.pth
|-- image_encoder
|   |-- config.json
|   `-- pytorch_model.bin
|-- sd-vae-ft-mse
|   |-- config.json
|   |-- diffusion_pytorch_model.bin
|   `-- diffusion_pytorch_model.safetensors
`-- stable-diffusion-v1-5
    |-- feature_extractor
    |   `-- preprocessor_config.json
    |-- model_index.json
    |-- unet
    |   |-- config.json
    |   `-- diffusion_pytorch_model.bin
    `-- v1-inference.yaml

准备您的引导动作

通过SMPL和渲染生成的引导动作数据，在进行推理时是必不可少的。

您可以在我们的HuggingFace仓库下载我们预先渲染好的样本，并将其放置在${PROJECT_ROOT}/example_data目录下：

git lfs install
git clone https://huggingface.co/datasets/fudan-generative-ai/champ_motions_example example_data

或者您可以按照SMPL和渲染文档来制作您自己的动作数据。

最终，${PROJECT_ROOT}/example_data将如下所示：

./example_data/
|-- motions/  # 目录包含按子文件夹划分的动作
|   |-- motion-01/  # 一个动作样本
|   |   |-- depth/  # 深度帧序列
|   |   |-- dwpose/ # Dwpose帧序列
|   |   |-- mask/   # 掩码帧序列
|   |   |-- normal/ # 法线图帧序列
|   |   `-- semantic_map/ # 语义地图帧序列
|   |-- motion-02/
|   |   |-- ...
|   |   `-- ...
|   `-- motion-N/
|       |-- ...
|       `-- ...
`-- ref_images/ # 参考图像样本（可选）
    |-- ref-01.png
    |-- ...
    `-- ref-N.png

运行推理

现在，我们已经将所有准备好的模型和动作分别放置在 ${PROJECT_ROOT}/pretrained_models 和 ${PROJECT_ROOT}/example_data 目录下。

以下是运行推理的命令：

  python inference.py --config configs/inference/inference.yaml

如果使用 poetry，命令如下：

poetry run python inference.py --config configs/inference/inference.yaml

动画结果将会保存在 ${PROJECT_ROOT}/results 文件夹中。你可以通过修改 inference.yaml 来更换参考图像或引导动作。

inference.yaml 中默认的 motion-02 约有 250 帧，需要约 20GB 的显存。

注意：如果你的显存不足，可以切换到较短的动作序列，或者从较长的序列中截取一段。我们在 inference.yaml 中提供了一个帧范围选择器，你可以将其替换为 [min_frame_index, max_frame_index] 列表，以便方便地从序列中截取所需部分。

训练模型

训练过程分为两个不同的阶段。更多信息请参阅 arXiv 上的论文 中的“训练部分”。

准备数据集

准备你自己的包含人体动作的训练视频（或者使用 HuggingFace 上的示例训练数据），并修改训练配置 YAML 文件中的 data.video_folder 值。

所有训练视频都需要被处理成 SMPL 和 DWPose 格式。请参考 数据处理文档。

目录结构应如下所示：

/training_data/
|-- video01/          # 一个视频数据帧
|   |-- depth/        # 深度帧序列
|   |-- dwpose/       # Dwpose 帧序列
|   |-- mask/         # 掩码帧序列
|   |-- normal/       # 法线图帧序列
|   `-- semantic_map/ # 语义图帧序列
|-- video02/
|   |-- ...
|   `-- ...
`-- videoN/
|-- ...
`-- ...

再选择一小批数据作为验证集，并修改训练配置 YAML 文件中的 validation.ref_images 和 validation.guidance_folders 路径。

运行训练脚本

要训练 Champ 模型，请使用以下命令：

# 运行第一阶段的训练脚本
accelerate launch train_s1.py --config configs/train/stage1.yaml

# 修改 YAML 文件中的 `stage1_ckpt_dir` 值，然后运行第二阶段的训练脚本
accelerate launch train_s2.py --config configs/train/stage2.yaml

数据集

类型	HuggingFace	预计时间
推理	SMPL 动作样本	2024年4月18日
训练	训练用示例数据集	2024年5月5日

路线图

状态	里程碑	预计时间
✅	推理源代码首次在 GitHub 上公开	2024年3月24日
✅	模型和测试数据上线 HuggingFace	2024年3月26日
✅	优化依赖项并在 Windows 上顺利运行	2024年3月31日
✅	数据预处理代码发布	2024年4月12日
✅	训练代码发布	2024年5月2日
✅	训练数据示例上线 HuggingFace	2024年5月5日
✅	平滑 SMPL 动作	2024年4月28日
🚀🚀🚀	Gradio 演示上线 HuggingFace	待定

引用

如果你的研究中使用了我们的工作，请考虑引用以下论文：

@inproceedings{zhu2024champ,
      title={Champ: Controllable and Consistent Human Image Animation with 3D Parametric Guidance},
      author={Shenhao Zhu and Junming Leo Chen and Zuozhuo Dai and Yinghui Xu and Xun Cao and Yao Yao and Hao Zhu and Siyu Zhu},
      booktitle={欧洲计算机视觉大会 (ECCV)},
      year={2024}
}

招聘信息

复旦大学生成视觉实验室 正在招聘多个研究岗位！包括：

• 研究助理
• 博士后研究员
• 博士研究生
• 硕士研究生

有意者请通过 siyuzhu@fudan.edu.cn 联系我们以获取更多信息。

Champ 快速上手指南

Champ 是一个基于 3D 参数化引导的可控且一致的人体图像动画生成工具（ECCV 2024）。本指南将帮助你快速在本地部署并运行推理。

环境准备

在开始之前，请确保你的系统满足以下要求：

• 操作系统: Ubuntu 20.04 或 Windows 11
• CUDA 版本: 12.1
• 显卡要求: 已测试支持 NVIDIA A100, RTX 3090。
  • 注意: 默认示例动作约 250 帧，推理需约 20GB 显存。若显存不足，可在配置文件中截取较短的动作片段。
• 基础软件: Python 3.10, Conda, Git (需安装 git-lfs)

安装步骤

1. 创建虚拟环境

使用 Conda 创建名为 champ 的 Python 3.10 环境：

conda create -n champ python=3.10
conda activate champ

2. 安装依赖

Linux 用户可直接使用 pip 安装：

pip install -r requirements.txt

Windows 用户强烈推荐使用 poetry 进行依赖管理以避免兼容性问题：

poetry install --no-root

3. 下载预训练模型

所有推理所需的预训练模型托管在 HuggingFace。请执行以下命令将其克隆到项目根目录下的 pretrained_models 文件夹：

git lfs install
git clone https://huggingface.co/fudan-generative-ai/champ pretrained_models

(注：若国内访问 HuggingFace 较慢，可配置镜像源或使用代理加速)

最终目录结构应包含 champ, image_encoder, sd-vae-ft-mse, stable-diffusion-v1-5 等文件夹。

4. 准备引导动作数据

推理需要由 SMPL 和渲染生成的引导运动数据。你可以直接下载官方提供的示例数据：

git lfs install
git clone https://huggingface.co/datasets/fudan-generative-ai/champ_motions_example example_data

数据将存放在 ${PROJECT_ROOT}/example_data 目录下，包含 motions (深度、姿态、法线图等序列) 和 ref_images (参考图)。

基本使用

完成上述准备后，即可运行推理脚本生成动画。

运行推理

在项目根目录执行以下命令：

使用标准 Python 环境：

python inference.py --config configs/inference/inference.yaml

使用 Poetry 环境（推荐 Windows）：

poetry run python inference.py --config configs/inference/inference.yaml

结果查看

生成的动画视频将保存在 ${PROJECT_ROOT}/results 文件夹中。

自定义配置

你可以通过修改 configs/inference/inference.yaml 文件来：

• 更换参考图片 (ref_image_path)
• 更换引导动作文件夹 (guidance_folder)
• 节省显存: 若显存不足，可在配置文件中修改帧范围选择器，设置为 [min_frame_index, max_frame_index] 以截取长序列中的一段进行生成。