🦄️ MOFA-Video：基于冻结图像到视频扩散模型中生成式运动场适配的可控图像动画（ECCV 2024）

在欧洲计算机视觉大会（ECCV）2024上

     

🔥🔥🔥 新功能/更新

• (2024.08.07) 我们发布了基于关键点的人脸图像动画推理脚本！更多说明请参阅这里。

• (2024.07.15) 我们发布了基于轨迹的图像动画训练代码！更多说明请参阅这里。

• MOFA-Video 将亮相 ECCV 2024! 🇮🇹🇮🇹🇮🇹

• 我们发布了 Gradio 推理代码以及 混合 控制的检查点！更多说明请参阅这里。

• 免费的 HuggingFace Spaces 在线演示即将推出！

• 如果您对这项工作感兴趣，请不要犹豫，给个 ⭐ 吧！

📰 代码发布

• (2024.05.31) 基于轨迹的图像动画的 Gradio 演示及检查点
• (2024.06.22) 混合控制下的图像动画的 Gradio 演示及检查点
• (2024.07.15) 基于轨迹的图像动画的训练脚本
• (2024.08.07) 基于关键点的人脸图像动画的推理脚本及检查点
• 基于关键点的人脸图像动画的训练脚本

TL;DR

轨迹 + 关键点控制

轨迹控制

关键点控制

引言

我们提出了 MOFA-Video，这是一种旨在将来自不同领域的运动适配到冻结的视频扩散模型中的方法。通过采用稀疏到稠密（S2D）运动生成和基于光流的运动适配, MOFA-Video 可以有效地利用各种类型的控制信号来为单张图像添加动画效果，这些控制信号包括轨迹、关键点序列，以及它们的组合。

在训练阶段，我们通过稀疏运动采样生成稀疏控制信号，然后训练不同的 MOFA 适配器，使其能够通过预训练的 SVD 生成视频。在推理阶段，可以将不同的 MOFA 适配器组合起来，共同控制冻结的 SVD。

🕹️ 基于混合控制的图像动画

1. 克隆仓库

git clone https://github.com/MyNiuuu/MOFA-Video.git
cd ./MOFA-Video

2. 环境配置

该演示已在 CUDA 11.7 版本上测试通过。

cd ./MOFA-Video-Hybrid
conda create -n mofa python==3.10
conda activate mofa
pip install -r requirements.txt
pip install opencv-python-headless
pip install "git+https://github.com/facebookresearch/pytorch3d.git"

重要提示： ⚠️⚠️⚠️ requirements.txt 文件中必须严格使用 Gradio 的 4.5.0 版本，否则可能会导致错误。

3. 下载检查点

1. 从 这里 下载 CMP 模型的检查点，并将其放置到 ./MOFA-Video-Hybrid/models/cmp/experiments/semiauto_annot/resnet50_vip+mpii_liteflow/checkpoints 目录下。

2. 从 HuggingFace 仓库下载包含必要预训练检查点的 ckpts 文件夹 链接，并将其放置在 ./MOFA-Video-Hybrid 目录下。您可以使用 git lfs 下载整个 ckpts 文件夹：

   1. 从 https://git-lfs.github.com 下载 git lfs。它通常用于克隆包含大型模型检查点的 HuggingFace 仓库。
   2. 执行 git clone https://huggingface.co/MyNiuuu/MOFA-Video-Hybrid 来下载完整的 HuggingFace 仓库，目前该仓库仅包含 ckpts 文件夹。
   3. 将 ckpts 文件夹复制或移动到 GitHub 仓库中。

   注意： 如果在 Linux 系统上遇到 git: 'lfs' is not a git command 错误，可以尝试 此解决方案，该方法对我有效。

   最终，检查点应按照 ./MOFA-Video-Hybrid/ckpt_tree.md 的目录结构进行组织。

4. 运行 Gradio 演示

使用音频驱动面部动画

cd ./MOFA-Video-Hybrid
python run_gradio_audio_driven.py

🪄🪄🪄 Gradio 界面如下所示。请在推理过程中参考 Gradio 界面中的说明！

使用参考视频驱动面部动画

cd ./MOFA-Video-Hybrid
python run_gradio_video_driven.py

🪄🪄🪄 Gradio 界面如下所示。请在推理过程中参考 Gradio 界面中的说明！

💫 基于轨迹的图像动画

请参阅 此处 获取说明。

训练您自己的 MOFA 适配器

请参阅 此处 获取更多说明。

引用

@article{niu2024mofa,
  title={MOFA-Video: Controllable Image Animation via Generative Motion Field Adaptions in Frozen Image-to-Video Diffusion Model},
  author={Niu, Muyao and Cun, Xiaodong and Wang, Xintao and Zhang, Yong and Shan, Ying and Zheng, Yinqiang},
  journal={arXiv preprint arXiv:2405.20222},
  year={2024}
}

致谢

我们衷心感谢以下项目的代码开源：DragNUWA、SadTalker、AniPortrait、Diffusers、SVD_Xtend、Conditional-Motion-Propagation 以及 Unimatch。

MOFA-Video 快速上手指南

MOFA-Video 是一个基于冻结图像到视频扩散模型（SVD）的可控图像动画工具。它支持通过轨迹、人脸关键点或混合控制（如音频/参考视频驱动）将单张静态图片转化为动态视频。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐) 或 Windows (部分命令可能需要调整)
• GPU: NVIDIA 显卡，显存建议 16GB 以上（运行混合控制模式时）
• CUDA 版本: 推荐 11.7 (官方测试环境)
• Python 版本: 3.10
• 依赖工具: git, conda, git-lfs (用于下载大模型文件)

注意：国内用户建议在配置 conda 和 pip 时使用清华源或阿里源以加速下载。

2. 安装步骤

本指南以功能最全的 混合控制模式 (Hybrid Controls) 为例，支持音频或参考视频驱动人脸动画。

2.1 克隆项目代码

git clone https://github.com/MyNiuuu/MOFA-Video.git
cd ./MOFA-Video

2.2 创建并激活虚拟环境

cd ./MOFA-Video-Hybrid
conda create -n mofa python=3.10
conda activate mofa

2.3 安装依赖库

重要提示：必须严格安装 gradio==4.5.0，其他版本可能导致报错。

# 推荐使用国内镜像源加速安装
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install opencv-python-headless -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install "git+https://github.com/facebookresearch/pytorch3d.git" -i https://pypi.tuna.tsinghua.edu.cn/simple

如果 pytorch3d 安装失败，可尝试前往 PyTorch3D 官网 查找对应 CUDA 版本的预编译包进行安装。

2.4 下载模型权重

你需要下载两部分模型文件：CMP 检测模型和 MOFA 主模型。

A. 下载 CMP 模型

下载链接：cmp_checkpoint

将其保存到以下路径（若文件夹不存在请手动创建）： ./MOFA-Video-Hybrid/models/cmp/experiments/semiauto_annot/resnet50_vip+mpii_liteflow/checkpoints/ckpt_iter_42000.pth.tar

B. 下载 MOFA 主模型 (ckpts 文件夹)

由于模型文件较大，建议使用 git lfs 拉取整个 HuggingFace 仓库。

1. 安装 git-lfs (如未安装):

   # Ubuntu/Debian
   sudo apt-get install git-lfs
   # 或者通过 conda
   conda install -c conda-forge git-lfs
   

2. 初始化并拉取：

   git lfs install
   git clone https://huggingface.co/MyNiuuu/MOFA-Video-Hybrid
   

3. 移动文件： 将刚刚克隆下来的 MOFA-Video-Hybrid/ckpts 文件夹复制到你最初克隆的 GitHub 项目目录中：

   # 假设你在根目录下操作
   mv MOFA-Video-Hybrid/ckpts ./MOFA-Video-Hybrid/
   

最终目录结构应参考项目内的 ./MOFA-Video-Hybrid/ckpt_tree.md。

3. 基本使用

安装完成后，可以通过 Gradio 界面轻松生成视频。

场景一：使用音频驱动人脸 (Audio-Driven)

适合制作说话头像视频。

cd ./MOFA-Video-Hybrid
python run_gradio_audio_driven.py

运行后，终端会输出一个本地访问地址（通常是 http://127.0.0.1:7860）。在浏览器打开该地址：

1. 上传一张人脸图片。
2. 上传一段音频文件。
3. 点击生成，等待视频输出。

场景二：使用参考视频驱动人脸 (Video-Driven)

适合让静态图片模仿参考视频中的表情和动作。

cd ./MOFA-Video-Hybrid
python run_gradio_video_driven.py

在浏览器打开生成的地址：

1. 上传一张源人脸图片。
2. 上传一段驱动视频（包含面部动作）。
3. 点击生成，源图片将模仿驱动视频的动作。

---

注：如果你仅需使用轨迹控制（Trajectory-based）或关键点控制（Keypoint-based），请参考项目目录下 ./MOFA-Video-Traj/README.md 或 ./MOFA-Video-Keypoint/README.md 获取特定脚本。