[CVPR2022] 用于图像动画的薄板样条运动模型

CVPR'2022 论文《用于图像动画的薄板样条运动模型》的源代码

论文 | 补充材料

示例动画

注: 为了公平比较，论文中将模型训练了 100 个 epoch。您可以使用更多数据并训练更长时间以获得更好的效果。

动画网页演示

• 集成到 Huggingface Spaces 🤗 中，使用 Gradio。体验网页演示：
• 在这里尝试动画网页演示：
• Google Colab：

预训练模型

• 清华大学云盘
• Yandex 磁盘
• Google Drive
• 百度网盘

安装

我们支持 python3。（推荐版本为 Python 3.9）。 要安装依赖项，请运行：

pip install -r requirements.txt

YAML 配置文件

config 文件夹中有多个配置文件，每个 dataset 对应一个，命名为 config/dataset_name.yaml

请参阅 config/taichi-256.yaml 中的参数说明。

数据集

1. MGif。遵循 Monkey-Net 的方法。

2. TaiChiHD 和 VoxCeleb。遵循 video-preprocessing 中的说明。

3. TED 演讲。遵循 MRAA 中的说明。

以下是论文中使用的已预处理的 VoxCeleb、TaiChiHD 和 TED 演讲 数据集。百度网盘 下载文件夹下的所有文件，然后合并并解压，例如：

cat vox.tar.* > vox.tar
tar xvf vox.tar

训练

要在特定数据集上训练模型，请运行：

CUDA_VISIBLE_DEVICES=0,1 python run.py --config config/dataset_name.yaml --device_ids 0,1

系统会创建一个以时间戳命名的日志文件夹。检查点、损失值和重建结果都会保存到该文件夹中。

训练 AVD 网络

要在特定数据集上训练模型，请运行：

CUDA_VISIBLE_DEVICES=0 python run.py --mode train_avd --checkpoint '{checkpoint_folder}/checkpoint.pth.tar' --config config/dataset_name.yaml

检查点、损失值和重建结果会被保存到 {checkpoint_folder} 中。

视频重建评估

要评估重建性能，请运行：

CUDA_VISIBLE_DEVICES=0 python run.py --mode reconstruction --config config/dataset_name.yaml --checkpoint '{checkpoint_folder}/checkpoint.pth.tar'

在 {checkpoint_folder} 中会创建一个 reconstruction 子文件夹。 生成的视频会存储到该文件夹中，同时也会以无损 .png 格式存储到 png 子文件夹中，以便进行评估。 要计算指标，请遵循 pose-evaluation 中的说明。

图像动画演示

• 笔记本：demo.ipynb，编辑配置单元格并运行以进行图像动画。
• Python:

CUDA_VISIBLE_DEVICES=0 python demo.py --config config/vox-256.yaml --checkpoint checkpoints/vox.pth.tar --source_image ./source.jpg --driving_video ./driving.mp4

致谢

主代码基于 FOMM 和 MRAA。

感谢这些优秀的工作！

同时感谢：

• @chenxwh: 添加了网页演示和 Docker 环境

• @TalkUHulk: C++/Python 演示由 Image-Animation-Turbo-Boost 提供。

• @AK391: 添加了 Hugging Face 网页演示

Thin-Plate-Spline-Motion-Model 快速上手指南

本项目实现了 CVPR 2022 论文《Thin-Plate Spline Motion Model for Image Animation》，用于基于驱动视频生成图像动画。

环境准备

• 操作系统: Linux (推荐)
• Python 版本: Python 3.9 (推荐)
• 硬件要求: 支持 CUDA 的 NVIDIA GPU
• 前置依赖: 确保已安装 PyTorch 及对应的 CUDA 版本

安装步骤

1. 克隆仓库并进入目录：

git clone https://github.com/yoyo-nb/Thin-Plate-Spline-Motion-Model.git
cd Thin-Plate-Spline-Motion-Model

2. 安装 Python 依赖包：

pip install -r requirements.txt

提示：国内用户建议使用清华或阿里镜像源加速安装，例如： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 下载预训练模型： 项目提供多个下载源，国内用户推荐使用 百度网盘：

   • 百度网盘: 下载链接 (提取码: 1234)

   下载后请将模型文件（如 vox.pth.tar）放置在项目根目录的 checkpoints 文件夹中（若不存在请新建）。

基本使用

最简单的方式是运行图像动画演示脚本。你需要准备一张源图片（source image）和一个驱动视频（driving video）。

执行以下命令生成动画：

CUDA_VISIBLE_DEVICES=0 python demo.py --config config/vox-256.yaml --checkpoint checkpoints/vox.pth.tar --source_image ./source.jpg --driving_video ./driving.mp4

参数说明：

• --config: 配置文件路径，根据数据集选择（如 vox-256.yaml）。
• --checkpoint: 预训练模型路径。
• --source_image: 输入源图片的路径。
• --driving_video: 输入驱动视频的路径。

运行完成后，生成的动画视频将保存在当前目录下。

在线体验：如果不想本地部署，可直接尝试 Hugging Face Spaces 或 Replicate 提供的 Web Demo。