Real3D-Portrait：单次输入的逼真3D说话人像合成 | ICLR 2024 Spotlight

| | 中文文档

这是Real3D-Portrait的官方仓库，采用PyTorch实现，用于单次输入且具有高视频真实感的说话人像合成。您可访问我们的演示页面观看演示视频，并阅读我们的论文以了解技术细节。

🔥MimicTalk发布

我们已发布MimicTalk的代码（https://github.com/yerfor/MimicTalk/），这是一种基于NeRF的、针对特定人物的先进说话人脸方法，能够实现更佳的视觉质量并支持说话风格控制。

🔥 更新

• [2024.07.02] 我们发布了整个系统的训练代码，包括音频到动作模型、图像到平面模型、secc2plane模型以及secc2plane_torso模型，请参阅docs/train_models。同时，我们也发布了用于预处理和二值化数据集的代码，请参阅docs/process_data。感谢您的耐心等待！

您可能也会感兴趣

• 我们发布了GeneFace++的代码（https://github.com/yerfor/GeneFacePlusPlus），这是一个基于NeRF的、针对特定人物的说话人脸系统，旨在生成与目标人物高度相似的高质量说话人脸视频。

快速开始！

环境安装

请参考安装指南，准备一个名为real3dportrait的Conda环境。

下载预训练及第三方模型

3DMM BFM模型

从Google Drive或百度网盘下载3DMM BFM模型，密码为m9q5。

将所有文件放入deep_3drecon/BFM目录下，文件结构应如下所示：

deep_3drecon/BFM/
├── 01_MorphableModel.mat
├── BFM_exp_idx.mat
├── BFM_front_idx.mat
├── BFM_model_front.mat
├── Exp_Pca.bin
├── facemodel_info.mat
├── index_mp468_from_mesh35709.npy
└── std_exp.txt

预训练的Real3D-Portrait

下载预训练的Real3D-Portrait：Google Drive或百度网盘，密码为6x4f

将压缩包放入checkpoints目录并解压，文件结构应如下所示：

checkpoints/
├── 240210_real3dportrait_orig
│   ├── audio2secc_vae
│   │   ├── config.yaml
│   │   └── model_ckpt_steps_400000.ckpt
│   └── secc2plane_torso_orig
│       ├── config.yaml
│       └── model_ckpt_steps_100000.ckpt
└── pretrained_ckpts
    └── mit_b0.pth

推理

目前，我们提供命令行界面、Gradio WebUI和Google Colab进行推理。我们同时支持音频驱动和视频驱动的方法：

• 对于音频驱动，至少需要准备“源图像”和“驱动音频”
• 对于视频驱动，至少需要准备“源图像”和“驱动表情视频”

Gradio WebUI

运行Gradio WebUI演示，在网页上上传资源，点击“Generate”按钮进行推理：

python inference/app_real3dportrait.py

Google Colab

在本Colab中运行所有单元格。

命令行推理

首先切换到项目文件夹并激活Conda环境：

cd <Real3DPortraitRoot>
conda activate real3dportrait
export PYTHONPATH=./

对于音频驱动，提供源图像和驱动音频：

python inference/real3d_infer.py \
--src_img <PATH_TO_SOURCE_IMAGE> \
--drv_aud <PATH_TO_AUDIO> \
--drv_pose <PATH_TO_POSE_VIDEO, OPTIONAL> \
--bg_img <PATH_TO_BACKGROUND_IMAGE, OPTIONAL> \
--out_name <PATH_TO_OUTPUT_VIDEO, OPTIONAL>

对于视频驱动，提供源图像和驱动表情视频（作为--drv_aud参数）：

python inference/real3d_infer.py \
--src_img <PATH_TO_SOURCE_IMAGE> \
--drv_aud <PATH_TO_EXP_VIDEO> \
--drv_pose <PATH_TO_POSE_VIDEO, OPTIONAL> \
--bg_img <PATH_TO_BACKGROUND_IMAGE, OPTIONAL> \
--out_name <PATH_TO_OUTPUT_VIDEO, OPTIONAL>

一些可选参数：

• --drv_pose 提供运动姿态信息，默认为静态姿势
• --bg_img 提供背景信息，默认为从源图像中提取的背景
• --mouth_amp 口部振幅，值越高嘴巴张开越大
• --map_to_init_pose 当设置为True时，初始姿势会映射到源姿势，其他姿势也会相应调整
• --temperature 表示audio2motion的采样温度，值越高结果越多样化，但准确性会降低
• --out_name 如果未指定，结果将保存在infer_out/tmp/目录下
• --out_mode 当设置为final时，仅输出最终结果；当设置为concat_debug时，还会输出多个中间过程的可视化结果。

命令行示例：

python inference/real3d_infer.py \
--src_img data/raw/examples/Macron.png \
--drv_aud data/raw/examples/Obama_5s.wav \
--drv_pose data/raw/examples/May_5s.mp4 \
--bg_img data/raw/examples/bg.png \
--out_name output.mp4 \
--out_mode concat_debug

待办事项

• 发布Real3D-Portrait的预训练权重。
• 发布Real3D-Portrait的推理代码。
• 发布Real3D-Portrait的Gradio演示。
• 发布Real3D-Portrait的Google Colab。
• 发布Real3D-Portrait的训练代码。

免责声明

严禁任何组织或个人在未经当事人同意的情况下，使用本文中提及的任何技术生成其说话视频，包括但不限于政府领导人、政治人物和名人。若违反此规定，可能会触犯版权法。

引用

如果您觉得本仓库对您的工作有所帮助，请考虑引用我们：

@article{ye2024real3d,
  title={Real3D-Portrait：单次输入的逼真3D说话人像合成},
  author={叶振辉、钟天云、任毅、杨佳琪、李伟创、黄嘉伟、蒋子越、何金正、黄荣杰、刘景林等},
  journal={arXiv预印本 arXiv:2401.08503},
  year={2024}
}
@article{ye2023geneface++,
  title={GeneFace++：通用且稳定的实时音频驱动3D说话人脸生成},
  author={叶振辉、何金正、蒋子越、黄荣杰、黄嘉伟、刘景林、任毅、尹翔、马泽俊、赵舟},
  journal={arXiv预印本 arXiv:2305.00787},
  year={2023}
}
@article{ye2023geneface,
  title={GeneFace：通用且高保真的音频驱动3D说话人脸合成},
  author={叶振辉、蒋子越、任毅、刘景林、何金正、赵舟},
  journal={arXiv预印本 arXiv:2301.13430},
  year={2023}
}

Real3D-Portrait 快速上手指南

Real3D-Portrait 是一个基于 PyTorch 的开源项目，旨在通过单张参考图像和驱动信号（音频或视频），生成高保真的 3D 说话人像视频。本项目支持音频驱动和视频驱动两种模式。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04/20.04) 或 macOS
• Python: 3.8+
• GPU: 支持 CUDA 的 NVIDIA 显卡（建议显存 8GB 以上）
• 依赖管理: Conda (推荐 Miniconda 或 Anaconda)

前置依赖：

• 已安装 git 和 ffmpeg。
• 建议配置国内镜像源以加速下载（如清华源或阿里源）。

2. 安装步骤

2.1 克隆项目并创建环境

首先克隆代码仓库，并按照官方指南创建 Conda 环境。

git clone https://github.com/yerfor/Real3DPortrait.git
cd Real3DPortrait

# 创建名为 real3dportrait 的 conda 环境
# 具体依赖版本请参考 docs/prepare_env/install_guide.md，通常包含 pytorch, torchvision 等
conda create -n real3dportrait python=3.8
conda activate real3dportrait

# 安装项目依赖 (假设 requirements.txt 存在，具体以官方 install_guide 为准)
pip install -r requirements.txt
# 若需加速，可使用：pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2.2 下载预训练模型与第三方资源

你需要下载两类模型文件：3DMM BFM 模型 和 Real3D-Portrait 预训练权重。国内用户推荐使用百度网盘下载。

A. 下载 3DMM BFM 模型

• 下载地址: 百度网盘 (提取码: m9q5)
• 存放路径: 将下载的所有文件放入 deep_3drecon/BFM 目录。
• 目录结构确认:

  deep_3drecon/BFM/
  ├── 01_MorphableModel.mat
  ├── BFM_exp_idx.mat
  ├── BFM_front_idx.mat
  ├── BFM_model_front.mat
  ├── Exp_Pca.bin
  ├── facemodel_info.mat
  ├── index_mp468_from_mesh35709.npy
  └── std_exp.txt
  

B. 下载 Real3D-Portrait 预训练权重

• 下载地址: 百度网盘 (提取码: 6x4f)
• 存放路径: 将下载的 .zip 文件放入 checkpoints 目录并解压。
• 目录结构确认:

  checkpoints/
  ├── 240210_real3dportrait_orig
  │   ├── audio2secc_vae
  │   │   ├── config.yaml
  │   │   └── model_ckpt_steps_400000.ckpt
  │   └── secc2plane_torso_orig
  │       ├── config.yaml
  │       └── model_ckpt_steps_100000.ckpt
  └── pretrained_ckpts
      └── mit_b0.pth
  

3. 基本使用

项目支持三种推理方式：Gradio WebUI、Google Colab 和 命令行 (CLI)。以下介绍最常用的 Gradio WebUI 和 命令行 方式。

方式一：Gradio WebUI (推荐新手)

启动本地网页界面，上传素材即可生成，操作直观。

python inference/app_real3dportrait.py

运行后在浏览器打开显示的本地地址（通常为 http://127.0.0.1:7860），上传源图像和驱动音频/视频，点击 "Generate" 即可。

方式二：命令行 (CLI)

适合批量处理或集成到工作流中。

1. 激活环境并设置路径：

cd <Real3DPortraitRoot>
conda activate real3dportrait
export PYTHONPATH=./

2. 音频驱动示例 (最常用) 使用一张源图片和一段音频生成说话视频：

python inference/real3d_infer.py \
--src_img data/raw/examples/Macron.png \
--drv_aud data/raw/examples/Obama_5s.wav \
--out_name output_audio_driven.mp4

3. 视频驱动示例 使用一张源图片和一段驱动表情视频（作为 --drv_aud 参数传入）：

python inference/real3d_infer.py \
--src_img data/raw/examples/Macron.png \
--drv_aud data/raw/examples/driving_expression.mp4 \
--out_name output_video_driven.mp4

常用可选参数说明：

• --drv_pose: 指定驱动姿态视频路径（默认为静态姿态）。
• --bg_img: 指定背景图片路径（默认从源图提取）。
• --mouth_amp: 嘴部动作幅度，数值越大嘴巴张得越开。
• --out_mode: 设为 concat_debug 可输出包含中间过程的可视化视频，设为 final 仅输出最终结果。

完整参数示例：

python inference/real3d_infer.py \
--src_img data/raw/examples/Macron.png \
--drv_aud data/raw/examples/Obama_5s.wav \
--drv_pose data/raw/examples/May_5s.mp4 \
--bg_img data/raw/examples/bg.png \
--out_name output.mp4 \
--out_mode concat_debug

生成的视频默认保存在当前目录或 infer_out/tmp/ 文件夹下。