使用 Pytorch 进行 3DMM（3D 可变形模型）拟合

这是一个基于 Pytorch 实现的拟合框架，用于使用 3DMM 模型重建图像或视频中的面部。

该框架仅使用 Pytorch 模块和来自 pytorch3d 的可微渲染器。整个模块都是可微的，可以集成到其他系统中以进行梯度传播。

更新

• :star2: 重构了代码以便未来扩展更容易（将支持其他 3DMM 模型）。超参数也已重新组织。
• :star2: 添加了对单目视频重建的支持。
• :star2: 添加了在处理长视频时对多 GPU 的支持。

安装

依赖项

• pytorch3d 它可能需要特定版本的 Pytorch 才能在 GPU 上成功运行 pytorch3d，请遵循官方说明。
• 其他依赖项请参考 "requirements.txt"。
• Basel Face Model 2009 (BFM09)
• Expression Basis 额外的表情基。

使用方法

安装步骤

1. 克隆仓库：

git clone https://github.com/ascust/3DMM-Fitting-Pytorch
cd 3DMM-Fitting-Pytorch

2. 下载 Basel Face Model 并将 "01_MorphableModel.mat" 放入 "BFM" 文件夹中。

3. 下载 Expression Basis。前往 repo，下载 "CoarseData" 并将 "Exp_Pca.bin" 放入 "BFM" 文件夹中。

4. 通过以下方式转换 BFM 参数：

python convert_bfm09_data.py

单张图像重建

python fit_single_img.py --img_path data/000002.jpg --res_folder results 

结果存储在 "results" 文件夹中。

单目视频重建

要拟合视频，只需运行：

python fit_video.py --v_path data/sample_video.mp4 --res_folder results 

脚本将提取帧、检测特征并拟合所有帧。

拟合视频与拟合图像略有不同，因为帧不是孤立的。在此实现中，我们首先使用部分帧估计目标面的形状和纹理（由 --nframes_shape 指示）。然后我们为每一帧估计其他系数（表情、旋转等），并保持形状和纹理系数固定。

对于第一帧，我们使用更多的迭代次数以获得良好的初始点。对于剩余帧，每帧都从前一次估计初始化。还施加了姿态正则化项以增加时间一致性。

请在结果文件夹中查看重建的视频。

多 GPU 和多进程支持

处理长视频可能需要很长时间，因此也支持多 GPU 和多进程以加速拟合。要使用此功能，只需运行：

python fit_video.py --v_path data/sample_video.mp4 --res_folder results --ngpus 4 --nworkers 4

这里我们使用了 4 个 GPU 和 4 个工作进程。我们也可以使用更多的工作进程，为每个 GPU 分配多个工作进程。视频将被均匀分割，每个片段将分别进行拟合。

超参数

有许多参数可能需要进一步微调。 非刚性拟合的迭代次数 "--first_nrf_iters" 和 "--rest_nrf_iters" 对拟合速度影响很大，因为我们在每次迭代中都必须渲染 3D 网格。尝试更改它们以在速度和精度之间找到平衡。 如果结果不理想，请尝试调整参数。

致谢

代码部分借鉴自 Deep3DFaceReconstrution，这是一种基于 Tensorflow 并使用 CNNs（卷积神经网络）的深度重建方法。请注意，我们的框架不需要任何预训练的深度模型。我们直接使用关键点和光度损失作为监督来估计参数。

3DMM-Fitting-Pytorch 快速上手指南

简介

基于 PyTorch 的 3DMM 模型拟合框架，用于从单张图片或视频中重建人脸。该框架完全可微，支持梯度传播，可轻松集成至其他系统中。

环境准备

• Python: 建议使用 Python 3.x
• PyTorch: 需与 PyTorch3D 版本兼容（请查阅 PyTorch3D 官方文档确认 CUDA 版本）
• PyTorch3D: Facebook Research 提供的可微渲染器
• 依赖库: 项目根目录下的 requirements.txt
• 模型文件:
  • Basel Face Model 2009 (BFM09)
  • Expression Basis

安装步骤

1. 克隆代码仓库

git clone https://github.com/ascust/3DMM-Fitting-Pytorch
cd 3DMM-Fitting-Pytorch

2. 下载并配置模型数据

• 下载 BFM09 模型，将 01_MorphableModel.mat 放入 BFM 文件夹。
• 下载 Expression Basis (CoarseData)，将 Exp_Pca.bin 放入 BFM 文件夹。 (注：若下载速度较慢，请确保网络环境通畅)

3. 转换 BFM 参数

python convert_bfm09_data.py

4. 安装依赖

pip install -r requirements.txt

(注意：PyTorch3D 的安装请参考其官方文档以匹配正确的 CUDA 版本)

基本使用

单张图片重建

python fit_single_img.py --img_path data/000002.jpg --res_folder results

结果将保存在 results 文件夹中。

视频重建

脚本会自动提取帧、检测特征并对所有帧进行拟合。

python fit_video.py --v_path data/sample_video.mp4 --res_folder results

多 GPU / 多进程加速

处理长视频时，可使用多卡或多进程加速。

python fit_video.py --v_path data/sample_video.mp4 --res_folder results --ngpus 4 --nworkers 4

说明：示例中使用 4 张显卡和 4 个工作进程，视频会被均分处理，每个片段分别拟合。

提示

• 超参数调整：迭代次数参数 --first_nrf_iters 和 --rest_nrf_iters 对拟合速度和精度影响较大，建议根据实际效果调整。
• 结果检查：请在结果文件夹中查看重建后的视频或模型文件。