用于关节动画的运动表示

本仓库包含 CVPR'2021 论文 Motion Representations for Articulated Animation 的源代码，作者为 Aliaksandr Siarohin、Oliver Woodford、Jian Ren、Menglei Chai 和 Sergey Tulyakov。

更多定性示例请访问我们的 项目页面。

示例动画

以下是使用我们方法生成的几张图像示例。第一列显示驱动视频，其余各列中上方的图像是通过从驱动视频中提取的运动进行动画处理得到的。

安装

我们支持 python3。要安装依赖项，请运行：

pip install -r requirements.txt

YAML 配置文件

config 文件夹中包含多个配置文件，每个 dataset 对应一个，命名格式为 config/dataset_name.yaml。请参阅 config/dataset.yaml 以了解每个参数的说明。

请参阅 config/vox256.yaml 中的参数说明。我们调整了配置以在单块 V100 GPU 上运行，在 256x256 数据集上训练大约需要 2 天。

预训练检查点

检查点可在以下链接找到：https://drive.google.com/drive/folders/1jCeFPqfU_wKNYwof0ONICwsj3xHlr_tb?usp=sharing。

动画演示

要运行演示，请下载检查点并执行以下命令：

python demo.py  --config config/dataset_name.yaml --driving_video path/to/driving --source_image path/to/source --checkpoint path/to/checkpoint

结果将保存为 result.mp4。若要使用解耦合动画，请添加 --mode avd；若要使用标准动画，则添加 --mode standard。

Colab 演示

我们准备了一个可在 Google Colab 中运行的演示，请参阅 demo.ipynb。

训练

要训练模型，请运行：

CUDA_VISIBLE_DEVICES=0 python run.py --config config/dataset_name.yaml --device_ids 0

代码将在日志目录中创建一个文件夹（每次运行都会创建一个新的带时间戳的文件夹）。检查点将保存到该文件夹中。训练过程中的损失值可查看 log.txt 文件。您还可以在 train-vis 子文件夹中查看训练数据的重建效果。

要训练 解耦合动画 (AVD)，请使用以下命令：

CUDA_VISIBLE_DEVICES=0 python run.py --checkpoint log/{folder}/cpk.pth --config config/dataset_name.yaml --device_ids 0 --mode train_avd

其中 {folder} 是上一步创建的文件夹名称。（注意：空格前需加反斜杠 \。）这将使用之前保存检查点的同一文件夹，并生成一个新的检查点，其中包含所有先前的模型以及训练好的 AVD 网络。您可以通过日志文件和 train-vis 文件夹中的可视化内容来监控性能。

视频重建评估

要评估重建性能，请运行：

CUDA_VISIBLE_DEVICES=0 python run.py --config config/dataset_name.yaml --mode reconstruction --checkpoint log/{folder}/cpk.pth

其中 {folder} 是上一步创建的文件夹名称。（注意：空格前需加反斜杠 \。）检查点文件夹中将创建一个 reconstruction 子文件夹。生成的视频将存储于此，同时也会以无损 .png 格式存储在 png 子文件夹中，以便于评估。

论文中指标的计算方法可参考 此处。

TED 数据集

要获取 TED 数据集，请执行以下命令：

git clone https://github.com/AliaksandrSiarohin/video-preprocessing
cd video-preprocessing
python load_videos.py --metadata ../data/ted384-metadata.csv --format .mp4 --out_folder ../data/TED384-v2 --workers 8 --image_shape 384,384

使用您自己的数据集进行训练

1. 将所有视频调整为相同尺寸，例如 256x256。视频可以是 .gif、.mp4 格式，也可以是包含图像的文件夹。我们推荐后者，即为每个视频单独创建一个文件夹，其中包含所有帧，格式为 .png。这种格式无损且具有更好的输入输出性能。

2. 创建一个 data/dataset_name 文件夹，其中包含 train 和 test 两个子文件夹，将训练视频放入 train 文件夹，测试视频放入 test 文件夹。

3. 创建一个配置文件 config/dataset_name.yaml。请参阅 config/vox256.yaml 中的参数说明。在 dataset_params 中指定数据集根目录，设置为 root_dir: data/dataset_name。根据需要调整其他参数，例如训练轮数等。如果您不想使用身份采样，请设置 id_sampling: False。

补充说明

引用方式：

@inproceedings{siarohin2021motion,
        author={Siarohin, Aliaksandr and Woodford, Oliver and Ren, Jian and Chai, Menglei and Tulyakov, Sergey},
        title={Motion Representations for Articulated Animation},
        booktitle = {CVPR},
        year = {2021}
}

Articulated Animation 快速上手指南

本指南基于 CVPR 2021 论文《Motion Representations for Articulated Animation》，帮助开发者快速部署并运行该关节动画生成模型。

环境准备

• 操作系统: Linux (推荐) 或 macOS
• Python 版本: Python 3.x
• 硬件要求: NVIDIA GPU (推荐 V100 或更高)，已安装 CUDA 驱动
• 前置依赖: 确保已安装 pip 和 git

安装步骤

1. 克隆仓库

   git clone https://github.com/snap-research/articulated-animation.git
   cd articulated-animation
   

2. 安装依赖 建议使用国内镜像源加速安装（如清华源）：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 下载预训练模型 从 Google Drive 下载检查点文件（Checkpoints）：

   • 下载地址：Google Drive 链接
   • 将下载的 .pth 文件放置在项目目录下的任意位置，并记住其路径（例如：checkpoints/cpk.pth）。

基本使用

以下命令演示如何使用预训练模型，根据一张源图像和一个驱动视频生成动画。

运行演示脚本

请替换命令中的路径为您的实际文件路径：

• config/dataset_name.yaml: 配置文件（根据数据集选择，如 config/vox256.yaml）
• path/to/driving: 驱动视频路径 (.mp4)
• path/to/source: 源图像路径 (.png/.jpg)
• path/to/checkpoint: 预训练模型路径

标准动画模式：

python demo.py --config config/vox256.yaml --driving_video path/to/driving.mp4 --source_image path/to/source.png --checkpoint path/to/checkpoint.pth --mode standard

解耦动画模式 (Animation via Disentanglement, AVD)：

python demo.py --config config/vox256.yaml --driving_video path/to/driving.mp4 --source_image path/to/source.png --checkpoint path/to/checkpoint.pth --mode avd

输出结果

运行完成后，生成的动画视频将保存为当前目录下的 result.mp4。

提示: 如果您拥有 Google Colab 账号，也可以直接运行项目根目录下的 demo.ipynb 进行在线体验。