GeneFace：通用且高保真度的音频驱动3D说话人脸合成 | ICLR'23

叶振辉、蒋子悦、任毅、刘景林、何金正、赵舟 | 浙江大学、字节跳动

| | | | 中文文档

本仓库是我们ICLR-2023论文的官方PyTorch实现，其中我们提出了GeneFace，用于通用且高保真度的音频驱动说话人脸生成。推理流程如下：

我们的GeneFace在跨域音频上实现了更好的唇形同步和表情表现力。观看这个视频，可以清晰地看到与先前基于NeRF的方法相比的唇形同步效果。您还可以访问我们的项目页面以获取更多详细信息。

🔥MimicTalk发布

我们发布了MimicTalk的代码（https://github.com/yerfor/MimicTalk/），这是一种SOTA的基于NeRF的人脸特异性说话人脸方法，它不仅具有更好的视觉质量，还支持说话风格控制。

GeneFace++发布

我们发布了GeneFace++的代码（https://github.com/yerfor/GeneFacePlusPlus/），这是GeneFace的升级版本，能够在唇形同步、视频质量和系统效率方面取得更好的效果。

更新：

• 2023.3.16 我们在这次发布中推出了重大更新，视频演示见这里。更新内容包括：1) 基于RAD-NeRF的渲染器，可实现实时推理并在10小时内完成训练。2) 基于PyTorch的deep3d_reconstruction模块，安装更简便且速度比之前的TensorFlow版本快8倍。3) 具有音高感知的audio2motion模块，能够生成更精确的唇形同步关键点。4) 修复了一些导致内存占用过大的bug。5) 我们将很快上传关于此次更新的论文。
• 2023.2.22 我们发布了一段1分钟长的演示视频，其中GeneFace由一首由DiffSinger生成的中文歌曲驱动。
• 2023.2.20 我们在inference/nerfs/lm3d_nerf_infer.py中发布了一种稳定的3D关键点后处理策略，大幅提升了最终结果的稳定性和质量。

快速入门！

我们在这次发布中提供了GeneFace的预训练模型和处理好的数据集，以便快速上手。接下来，我们将分4步展示如何使用预训练模型进行推理。如果您希望针对自己的目标人物视频训练GeneFace，请参阅后续章节（“准备环境”、“准备数据集”和“训练模型”）。

• 第一步：按照docs/prepare_env/install_guide.md中的指南创建一个名为geneface的新Python环境。

• 第二步：下载本次发布中的lrs3.zip和May.zip，并将其解压到checkpoints目录下。

• 第三步：按照docs/process_data/process_target_person_video.md中的指南处理May.mp4的数据集。完成后，您将看到一个名为data/binary/videos/May/trainval_dataset.npy的输出文件。

完成上述步骤后，您的checkpoints和data目录结构应如下所示：

> checkpoints
    > lrs3
        > lm3d_vae_sync
        > syncnet
    > May
        > lm3d_postnet_sync
        > lm3d_radnerf
        > lm3d_radnerf_torso
> data
    > binary
        > videos
            > May
                trainval_dataset.npy

• 第四步：运行以下脚本：

bash scripts/infer_postnet.sh
bash scripts/infer_lm3d_radnerf.sh
# bash scripts/infer_radnerf_gui.sh # 您也可以使用RADNeRF提供的GUI界面

您将得到一个名为infer_out/May/pred_video/zozo.mp4的输出视频。

定义环境

请按照docs/prepare_env中的步骤操作。

准备数据集

请按照docs/process_data中的步骤操作。

训练模型

请按照docs/train_models中的步骤操作。

在其他目标人物视频上训练GeneFace

除了本仓库中提供的May.mp4外，我们还提供了8个在实验中使用的目标人物视频。您可以从这个链接下载。要在一个名为<video_id>.mp4的新视频上进行训练，您需要将其放入data/raw/videos/目录中，然后在egs/datasets/videos/<video_id>下创建一个新的文件夹，并根据提供的示例文件夹egs/datasets/videos/May编辑配置文件。

您也可以录制自己的视频，为自己训练一个独一无二的GeneFace模型！

引用

@article{ye2023geneface,
  title={GeneFace: Generalized and High-Fidelity Audio-Driven 3D Talking Face Synthesis},
  author={Ye, Zhenhui and Jiang, Ziyue and Ren, Yi and Liu, Jinglin and He, Jinzheng and Zhao, Zhou},
  journal={arXiv preprint arXiv:2301.13430},
  year={2023}
}

致谢

我们的代码基于以下仓库：

• NATSpeech（用于代码模板）
• AD-NeRF（用于NeRF相关的数据预处理和Vanilla NeRF实现）
• RAD-NeRF（用于RAD-NeRF实现）
• Deep3DFaceRecon_pytorch（用于3DMM参数提取）

GeneFace 快速上手指南

GeneFace 是一个通用且高保真的音频驱动 3D 说话人脸合成工具（ICLR'23），支持实时推理和高质量的唇形同步。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04/20.04)
• Python: 3.8+
• GPU: NVIDIA GPU (显存建议 16GB 以上以支持训练，推理可适当降低)，已安装 CUDA 驱动
• 依赖库: PyTorch, FFmpeg, Git

注意：本项目深度依赖 deep3d_reconstruction 模块，官方已提供基于 PyTorch 的版本（比 TensorFlow 版本快 8 倍且更易安装）。

安装步骤

1. 创建虚拟环境

按照官方指南创建名为 geneface 的 Python 环境：

# 参考 docs/prepare_env/install_guide.md 中的具体指令，通常如下：
conda create -n geneface python=3.8
conda activate geneface

请根据 docs/prepare_env 目录下的详细文档安装 PyTorch 及其他系统级依赖（如 ffmpeg, cmake 等）。

2. 克隆代码库

git clone https://github.com/yerfor/GeneFace.git
cd GeneFace

3. 下载预训练模型与示例数据

为了快速体验，我们直接使用官方发布的 v1.1.0 版本资源。

1. 前往 Releases 页面。
2. 下载 lrs3.zip 和 May.zip。
3. 将解压后的文件夹放入项目根目录下的 checkpoints 目录中。

解压后的目录结构应如下所示：

checkpoints
├── lrs3
│   ├── lm3d_vae_sync
│   └── syncnet
└── May
    ├── lm3d_postnet_sync
    ├── lm3d_radnerf
    └── lm3d_radnerf_torso

4. 处理示例数据集

对示例视频 May.mp4 进行预处理，生成推理所需的数据文件：

# 请参考 docs/process_data/process_target_person_video.md 执行具体命令
# 成功处理后，将在 data/binary/videos/May/ 下生成 trainval_dataset.npy

确保最终目录结构包含：

data
└── binary
    └── videos
        └── May
            └── trainval_dataset.npy

基本使用

完成上述准备后，即可运行脚本生成说话人脸视频。以下是最简单的推理流程：

1. 运行后处理网络 (PostNet)

生成初步的面部动作序列：

bash scripts/infer_postnet.sh

2. 运行 RAD-NeRF 渲染器

将动作序列渲染为最终视频（支持实时推理）：

bash scripts/infer_lm3d_radnerf.sh

可选：如果您希望使用图形界面进行交互，可以运行：

bash scripts/infer_radnerf_gui.sh

3. 查看结果

生成的视频将保存在以下路径：

infer_out/May/pred_video/zozo.mp4

---

如需训练自己的角色模型或处理自定义视频，请参阅 docs/train_models 及 docs/process_data 中的详细文档。