一次性自由视角神经说话头合成

论文《用于视频会议的一次性自由视角神经说话头合成》的非官方 PyTorch 实现。

使用了 Python 3.6 和 PyTorch 1.7。

更新：

2021.11.05：

• 用旋转矩阵替换雅可比矩阵（假设 J = R），以避免估计雅可比矩阵。
• 修正了旋转矩阵。

2021.11.17：

• 改进了生成器，性能更好（已发布模型和检查点）。

驱动 | 测试版 | FOMM | 新版本：

https://user-images.githubusercontent.com/17874285/142828000-db7b324e-c2fd-4fdc-a272-04fb8adbc88a.mp4

---

驱动 | FOMM | 我们的方法：

自由视角：

训练：

python run.py --config config/vox-256.yaml --device_ids 0,1,2,3,4,5,6,7

演示：

python demo.py --config config/vox-256.yaml --checkpoint 路径/到/checkpoint --source_image 路径/到/source --driving_video 路径/到/driving --relative --adapt_scale --find_best_frame

自由视角（例如 yaw=20, pitch=roll=0）：

python demo.py --config config/vox-256.yaml --checkpoint 路径/到/checkpoint --source_image 路径/到/source --driving_video 路径/到/driving --relative --adapt_scale --find_best_frame --free_view --yaw 20 --pitch 0 --roll 0

注意：请先运行 crop-video.py --inp driving_video.mp4 来获取裁剪建议，并对原始视频进行裁剪。

预训练模型：

模型	训练集	百度网盘	MediaFire
Vox-256-Beta	VoxCeleb-v1	百度 (密码: c0tc)	MF
Vox-256-New	VoxCeleb-v1	-	MF
Vox-512	VoxCeleb-v2	即将发布	即将发布

注意：

1. 目前测试版尚未充分调优。
2. 对于自由视角合成，建议 Yaw、Pitch 和 Roll 分别控制在 ±45°、±20° 和 ±20° 以内。
3. 可以使用人脸修复算法（如 GPEN）进行后处理，以显著提升分辨率。

致谢：

感谢 NV、AliaksandrSiarohin 和 DeepHeadPose。

One-Shot Free-View Neural Talking Head Synthesis 快速上手指南

本项目是论文《One-Shot Free-View Neural Talking-Head Synthesis for Video Conferencing》的非官方 PyTorch 实现，支持单张源图像生成多视角说话人头视频。

环境准备

• 系统要求: Linux / Windows / macOS
• Python 版本: Python 3.6
• 深度学习框架: PyTorch 1.7
• 其他依赖: 请确保已安装 ffmpeg（用于视频处理）和 opencv-python。

建议创建虚拟环境并安装基础依赖：

pip install torch==1.7.0 torchvision==0.8.0
pip install opencv-python numpy scipy matplotlib scikit-image tqdm

安装步骤

1. 克隆本仓库代码：

   git clone https://github.com/zhanglonghao1992/One-Shot_Free-View_Neural_Talking_Head_Synthesis.git
   cd One-Shot_Free-View_Neural_Talking_Head_Synthesis
   

2. 下载预训练模型：

   • Vox-256-New (推荐): MediaFire 下载
   • Vox-256-Beta: 百度网盘下载 (提取码：c0tc)

   下载后将 checkpoint 文件放置在项目目录下的 checkpoints 文件夹中（若不存在请新建）。

基本使用

1. 视频预处理（重要）

在运行演示之前，必须先对驱动视频（driving video）进行裁剪建议获取和裁剪处理，否则效果不佳。

python crop-video.py --inp driving_video.mp4

执行后请根据提示或生成的裁剪参数处理你的原始视频。

2. 运行标准演示

使用源图像和驱动视频生成说话人头视频：

python demo.py --config config/vox-256.yaml --checkpoint path/to/checkpoint --source_image path/to/source --driving_video path/to/driving --relative --adapt_scale --find_best_frame

请将 path/to/... 替换为实际的文件路径。

3. 运行自由视角合成 (Free-View)

指定特定的头部姿态（Yaw, Pitch, Roll）生成新视角视频。 注意：建议角度范围为 Yaw ±45°, Pitch/Roll ±20°。

以下示例生成偏航角为 20 度，俯仰和翻滚角为 0 度的视频：

python demo.py --config config/vox-256.yaml --checkpoint path/to/checkpoint --source_image path/to/source --driving_video path/to/driving --relative --adapt_scale --find_best_frame --free_view --yaw 20 --pitch 0 --roll 0

进阶提示

若生成结果分辨率较低，可结合人脸修复算法（如 GPEN）进行后处理以提升画质。