JoyVASA：基于扩散模型的音频驱动面部动态与头部运动生成，实现人像与动物图像动画

📖 引言

基于扩散模型的音频驱动人像动画近年来取得了显著进展，视频质量和口型同步精度大幅提升。然而，随着模型复杂度的增加，训练与推理效率降低，同时视频长度和帧间连续性也受到限制。本文提出了一种名为JoyVASA的扩散模型方法，用于在音频驱动的人脸动画中生成面部动态与头部运动。具体而言，在第一阶段，我们引入了一个解耦的面部表征框架，将动态面部表情与静态3D面部表征分离。这种解耦使得系统能够通过任意静态3D面部表征与动态运动序列的组合来生成更长的视频。随后，在第二阶段，我们训练了一个扩散Transformer模型，使其能够直接从音频线索中生成与角色身份无关的运动序列。最后，第一阶段训练好的生成器会以3D面部表征和生成的运动序列作为输入，渲染出高质量的动画。借助解耦的面部表征和与身份无关的运动生成过程，JoyVASA不仅适用于人类肖像，还能无缝地为动物面部生成动画。该模型使用混合数据集进行训练，包含私有的中文数据和公开的英文数据，从而支持多语言。实验结果验证了我们方法的有效性。未来的工作将集中在提升实时性能和优化表情控制上，进一步拓展该框架在人像动画领域的应用。

🧳 框架

所提出的JoyVASA的推理流程。 给定一张参考图像，我们首先使用LivePortrait中的外观编码器提取3D面部外观特征，并利用运动编码器提取一系列学习到的3D关键点。对于输入语音，先使用wav2vec2编码器提取音频特征。然后，通过第二阶段训练的扩散模型，以滑动窗口的方式采样得到音频驱动的运动序列。结合参考图像的3D关键点和采样的目标运动序列，计算出目标关键点。最后，根据源关键点和目标关键点对3D面部外观特征进行变形，并由生成器渲染出最终的输出视频。

⚙️ 安装

系统要求：

Ubuntu：

• 已在Ubuntu 20.04、CUDA 12.1上测试通过
• 测试GPU：A100

Windows：

• 已在Windows 11、CUDA 12.1上测试通过
• 测试GPU：RTX 4060笔记本电脑，8GB显存

创建环境：

# 1. 创建基础环境
conda create -n joyvasa python=3.10 -y
conda activate joyvasa 

# 2. 安装依赖
pip install -r requirements.txt

# 3. 安装ffmpeg
sudo apt-get update  
sudo apt-get install ffmpeg -y

# 4. 可选：安装MultiScaleDeformableAttention以支持动物图像动画
cd src/utils/dependencies/XPose/models/UniPose/ops
python setup.py build install
cd - # 等同于cd ../../../../../../../

🎒 准备模型检查点

请确保已安装git-lfs，并将以下所有检查点下载至pretrained_weights目录：

1. 下载JoyVASA运动生成器检查点

git lfs install
git clone https://huggingface.co/jdh-algo/JoyVASA

2. 下载音频编码器检查点

我们支持两种类型的音频编码器，包括wav2vec2-base和hubert-chinese。运行以下命令下载hubert-chinese预训练权重：

git lfs install
git clone https://huggingface.co/TencentGameMate/chinese-hubert-base

要获取wav2vec2-base的预训练权重，请运行以下命令：

git lfs install
git clone https://huggingface.co/facebook/wav2vec2-base-960h

[!NOTE] 基于wav2vec2编码器的运动生成模型将在后续支持。

3. 下载LivePortraits检查点

# !pip install -U "huggingface_hub[cli]"
huggingface-cli download KwaiVGI/LivePortrait --local-dir pretrained_weights --exclude "*.git*" "README.md" "docs"

更多下载方式可参考Liveportrait。

4. pretrained_weights 目录内容

最终的 pretrained_weights 目录应如下所示：

./pretrained_weights/
├── insightface                                                                                                                                                 
│   └── models                                                                                                                                                  
│       └── buffalo_l                                                                                                                                           
│           ├── 2d106det.onnx                                                                                                                                   
│           └── det_10g.onnx   
├── JoyVASA
│   ├── motion_generator
│   │   └── iter_0020000.pt
│   └── motion_template
│       └── motion_template.pkl
├── liveportrait
│   ├── base_models
│   │   ├── appearance_feature_extractor.pth
│   │   ├── motion_extractor.pth
│   │   ├── spade_generator.pth
│   │   └── warping_module.pth
│   ├── landmark.onnx
│   └── retargeting_models
│       └── stitching_retargeting_module.pth
├── liveportrait_animals
│   ├── base_models
│   │   ├── appearance_feature_extractor.pth
│   │   ├── motion_extractor.pth
│   │   ├── spade_generator.pth
│   │   └── warping_module.pth
│   ├── retargeting_models
│   │   └── stitching_retargeting_module.pth
│   └── xpose.pth
├── TencentGameMate:chinese-hubert-base
│   ├── chinese-hubert-base-fairseq-ckpt.pt
│   ├── config.json
│   ├── gitattributes
│   ├── preprocessor_config.json
│   ├── pytorch_model.bin
│   └── README.md
└── wav2vec2-base-960h               
    ├── config.json                  
    ├── feature_extractor_config.json
    ├── model.safetensors
    ├── preprocessor_config.json
    ├── pytorch_model.bin
    ├── README.md
    ├── special_tokens_map.json
    ├── tf_model.h5
    ├── tokenizer_config.json
    └── vocab.json

[!NOTE] Windows 系统中，文件夹 TencentGameMate:chinese-hubert-base 应重命名为 chinese-hubert-base。

🚀 推理

1. 命令行推理

动物：

python inference.py -r assets/examples/imgs/joyvasa_001.png -a assets/examples/audios/joyvasa_001.wav --animation_mode animal --cfg_scale 2.0

人类：

python inference.py -r assets/examples/imgs/joyvasa_003.png -a assets/examples/audios/joyvasa_003.wav --animation_mode human --cfg_scale 2.0

您可以调整 cfg_scale 参数以获得不同表情和姿态的结果。

[!NOTE] 动画模式与参考图像不匹配可能导致结果错误。

2. Web 演示推理

使用以下命令启动 Web 演示：

python app.py

演示将在 http://127.0.0.1:7862 打开。

⚓️ 使用您自己的数据训练运动生成器

运动生成器应使用人类说话的面部视频进行训练。

1. 准备训练和验证数据

将 01_extract_motions.py 中的 root_dir 替换为您自己的数据集路径，然后运行以下命令以生成训练和验证数据：

cd src/prepare_data
python 01_extract_motions.py
python 05_extract_audio.py
python 02_gen_labels.py
pyhton 03_merge_motions.py
python 04_gen_template.py

mv motion_templete.pkl motions.pkl train.json test.json ../../data
cd ../..

2. 训练

python train.py

实验结果位于 experiments/ 目录中。

📝 引用

如果您觉得我们的工作有所帮助，请考虑引用我们：

@misc{cao2024joyvasaportraitanimalimage,
      title={JoyVASA：基于扩散模型的音频驱动面部动态与头部运动生成的肖像及动物图像动画}, 
      author={Xuyang Cao 和 Guoxin Wang 和 Sheng Shi 和 Jun Zhao 和 Yang Yao 和 Jintao Fei 和 Minyu Gao},
      year={2024},
      eprint={2411.09209},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2411.09209}, 
}

🤝 致谢

我们衷心感谢以下开源项目及其贡献者：LivePortrait、Open Facevid2vid、InsightFace、X-Pose、DiffPoseTalk、Hallo、wav2vec 2.0、Chinese Speech Pretrain、Q-Align、Syncnet以及 VBench，感谢他们开放的研究成果和卓越的工作。

JoyVASA 快速上手指南

JoyVASA 是一款基于扩散模型的音频驱动面部动画生成工具，支持人像和动物图像的生动演绎，具备多语言（中英文）支持能力。

1. 环境准备

系统要求

• 操作系统: Ubuntu 20.04 或 Windows 11
• CUDA 版本: 12.1
• 推荐显卡:
  • Linux: NVIDIA A100
  • Windows: RTX 4060 Laptop (8GB VRAM) 及以上
• Python 版本: 3.10

前置依赖

确保系统已安装 git、git-lfs 和 ffmpeg。

• Ubuntu 用户请执行：

  sudo apt-get update
  sudo apt-get install ffmpeg -y
  

• Windows 用户请自行下载并配置 ffmpeg 环境变量。

2. 安装步骤

2.1 创建虚拟环境并安装依赖

# 1. 创建基础环境
conda create -n joyvasa python=3.10 -y
conda activate joyvasa 

# 2. 安装 Python 依赖
pip install -r requirements.txt

# 3. (可选) 编译安装动物动画所需的 MultiScaleDeformableAttention 模块
# 如果仅需做人像动画可跳过此步
cd src/utils/dependencies/XPose/models/UniPose/ops
python setup.py build install
cd -

2.2 下载模型权重

请确保已安装 git-lfs (git lfs install)。在项目根目录下创建 pretrained_weights 文件夹，并按以下方式下载权重：

1. 下载 JoyVASA 主模型

git clone https://huggingface.co/jdh-algo/JoyVASA
# 将克隆后的内容移动至 pretrained_weights/JoyVASA (根据实际目录结构调整)

2. 下载音频编码器 (二选一) 推荐国内用户使用中文 Hubert 模型以获得更佳效果：

git clone https://huggingface.co/TencentGameMate/chinese-hubert-base
# Windows 用户需注意：克隆后的文件夹名若包含冒号，请重命名为 chinese-hubert-base

或使用英文 wav2vec2 模型：

git clone https://huggingface.co/facebook/wav2vec2-base-960h

3. 下载 LivePortrait 基础模型

# 需先安装 huggingface_hub: pip install -U "huggingface_hub[cli]"
huggingface-cli download KwaiVGI/LivePortrait --local-dir pretrained_weights --exclude "*.git*" "README.md" "docs"

最终目录结构参考： 确保 pretrained_weights 目录下包含 JoyVASA, liveportrait, liveportrait_animals 以及音频编码器文件夹。

3. 基本使用

3.1 命令行推理

支持人像 (human) 和动物 (animal) 两种模式。请确保参考图片与模式匹配。

人像动画示例：

python inference.py -r assets/examples/imgs/joyvasa_003.png -a assets/examples/audios/joyvasa_003.wav --animation_mode human --cfg_scale 2.0

动物动画示例：

python inference.py -r assets/examples/imgs/joyvasa_001.png -a assets/examples/audios/joyvasa_001.wav --animation_mode animal --cfg_scale 2.0

提示: 调整 --cfg_scale 参数可以改变生成表情的幅度和头部姿态的活跃度。

3.2 Web 界面演示

启动本地 Web UI 进行可视化操作：

python app.py

启动后在浏览器访问 http://127.0.0.1:7862 即可使用。