HumanNeRF：基于单目视频的运动人体自由视点渲染（CVPR 2022）

项目页面 | 论文 | 视频

这是一个官方实现。代码库使用 PyTorch 编写，并在 Ubuntu 20.04.4 LTS 上进行了测试。

前置条件

配置环境

安装 Miniconda（推荐）或 Anaconda。

创建并激活一个虚拟环境。

conda create --name humannerf python=3.7
conda activate humannerf

安装所需的包。

pip install -r requirements.txt

下载 SMPL 模型

从 这里 下载中性性别 SMPL 模型，并解压 mpips_smplify_public_v2.zip。

复制 SMPL 模型。

SMPL_DIR=/path/to/smpl
MODEL_DIR=$SMPL_DIR/smplify_public/code/models
cp $MODEL_DIR/basicModel_neutral_lbs_10_207_0_v1.0.0.pkl third_parties/smpl/models

按照 此页面 的说明，从 SMPL 模型中移除 Chumpy 对象。

在 ZJU-Mocap 数据集上运行

下面我们以主体 387 为例进行说明。

准备数据集

首先，从 这里 下载 ZJU-Mocap 数据集。

其次，修改 tools/prepare_zju_mocap/387.yaml 中主体 387 的 YAML 文件。特别是，zju_mocap_path 应该是 ZJU-Mocap 数据集的目录路径。

dataset:
    zju_mocap_path: /path/to/zju_mocap
    subject: '387'
    sex: 'neutral'

...

最后，运行数据预处理脚本。

cd tools/prepare_zju_mocap
python prepare_dataset.py --cfg 387.yaml
cd ../../

训练/下载模型

现在你可以通过运行脚本下载预训练模型：

./scripts/download_model.sh 387

或者自己训练一个模型。我们使用 4 张 NVIDIA RTX 2080 Ti 显卡来训练模型。

python train.py --cfg configs/human_nerf/zju_mocap/387/adventure.yaml

为了验证，我们提供了一个支持单 GPU（NVIDIA RTX 2080 Ti）训练的配置文件。请注意，此配置的性能无法保证。

python train.py --cfg configs/human_nerf/zju_mocap/387/single_gpu.yaml

渲染输出

渲染输入帧（即观测到的运动序列）。

python run.py \
    --type movement \
    --cfg configs/human_nerf/zju_mocap/387/adventure.yaml 

对某一特定帧（例如第 128 帧）进行自由视点渲染。

python run.py \
    --type freeview \
    --cfg configs/human_nerf/zju_mocap/387/adventure.yaml \
    freeview.frame_idx 128

渲染学习到的规范外观（T 姿势）。

python run.py \
    --type tpose \
    --cfg configs/human_nerf/zju_mocap/387/adventure.yaml 

此外，你可以在 scripts/zju_mocap 中找到渲染脚本。

在自定义单目视频上运行

为了获得最佳效果，我们建议使用符合以下要求的视频片段：

• 片段长度少于 600 帧（约 20 秒）。
• 视频中的人体主体应展示大部分身体部位（例如身体的正面和背面）。

准备数据集

要在单目视频上进行训练，需将你的视频数据按以下结构准备在 dataset/wild/monocular 目录下：

monocular
    ├── images
    │   └── ${item_id}.png
    ├── masks
    │   └── ${item_id}.png
    └── metadata.json

我们使用 item_id 来匹配视频帧与其主体掩码和元数据。item_id 通常是一串字母数字字符，如 000128。

images

一组视频帧，以 PNG 文件形式存储。

masks

一组主体分割掩码，以 PNG 文件形式存储。

metadata.json

此 JSON 文件包含视频帧的元数据，包括：

• 人体姿态（SMPL 姿态和贝塔系数）
• 相机姿态（相机内参和外参矩阵）。我们遵循 OpenCV 的相机坐标系，并采用 针孔相机模型。

你可以使用基于 SMPL 的人体姿态检测器（例如 SPIN、VIBE 或 ROMP）对单目视频进行处理，以获取人体姿态和相机姿态。

{
  // 将字符串 item_id 替换为你视频帧的文件名。
  "item_id": {
        // 一个 (72,) 数组：控制人体姿态的 SMPL 系数。
        "poses": [
            -3.1341, ..., 1.2532
        ],
        // 一个 (10,) 数组：控制人体形状的 SMPL 系数。
        "betas": [
            0.33019, ..., 1.0386
        ],
        // 一个 3x3 的相机内参矩阵。
        "cam_intrinsics": [
            [23043.9, 0.0,940.19],
            [0.0, 23043.9, 539.23],
            [0.0, 0.0, 1.0]
        ],
        // 一个 4x4 的相机外参矩阵。
        "cam_extrinsics": [
            [1.0, 0.0, 0.0, -0.005],
            [0.0, 1.0, 0.0, 0.2218],
            [0.0, 0.0, 1.0, 47.504],
            [0.0, 0.0, 0.0, 1.0],
        ],
  }

  ...

  // 遍历每一帧视频。
  "item_id": {
      ...
  }
}

数据集正确创建后，运行脚本完成数据准备。

cd tools/prepare_wild
python prepare_dataset.py --cfg wild.yaml
cd ../../

训练模型

现在我们可以开始训练了。默认情况下，我们使用 4 张 NVIDIA RTX 2080 Ti 显卡来训练模型。

python train.py --cfg configs/human_nerf/wild/monocular/adventure.yaml

为了验证，我们提供了一个单 GPU（NVIDIA RTX 2080 Ti）的训练配置。请注意，此配置的性能无法保证。

python train.py --cfg configs/human_nerf/wild/monocular/single_gpu.yaml

渲染输出

渲染输入帧（即观测到的运动序列）。

python run.py \
    --type movement \
    --cfg configs/human_nerf/wild/monocular/adventure.yaml 

对某一特定帧（例如第 128 帧）进行自由视点渲染。

python run.py \
    --type freeview \
    --cfg configs/human_nerf/wild/monocular/adventure.yaml \
    freeview.frame_idx 128

渲染学习到的规范外观（T 姿势）。

python run.py \
    --type tpose \
    --cfg configs/human_nerf/wild/monocular/adventure.yaml 

此外，你可以在 scripts/wild 中找到渲染脚本。

致谢

本项目的实现参考了 NeRF-PyTorch、Neural Body、Neural Volume、LPIPS 以及 YACS。我们感谢这些作者慷慨地开源代码。

引用

如果您觉得我们的工作有所帮助，请考虑引用以下文献：

@InProceedings{weng_humannerf_2022_cvpr,
    title     = {Human{N}e{RF}: 从单目视频中实现运动人体的自由视点渲染},
    author    = {Weng, Chung-Yi 和 
                 Curless, Brian 和 
                 Srinivasan, Pratul P. 和 
                 Barron, Jonathan T. 和 
                 Kemelmacher-Shlizerman, Ira},
    booktitle = {IEEE/CVF 计算机视觉与模式识别会议（CVPR）论文集},
    month     = {6月},
    year      = {2022},
    pages     = {16210-16220}
}

HumanNeRF 快速上手指南

HumanNeRF 是一个基于单目视频实现动态人物自由视角渲染的开源项目（CVPR 2022）。本指南帮助中国开发者快速完成环境配置并运行示例。

1. 环境准备

系统要求

• 操作系统: Ubuntu 20.04.4 LTS (推荐) 或其他 Linux 发行版
• GPU: NVIDIA 显卡 (官方测试使用 4x RTX 2080 Ti，单卡也可运行但性能不保证)
• Python: 3.7

前置依赖

• Conda: 推荐安装 Miniconda 或 Anaconda
• SMPL 模型: 需手动下载性别中立的 SMPL 模型文件

国内加速建议：

• 使用清华或中科大镜像源加速 pip 和 conda 包下载。
• SMPL 模型若官网下载困难，可尝试在 GitHub 相关仓库或国内学术资源站寻找镜像。

2. 安装步骤

2.1 创建虚拟环境

conda create --name humannerf python=3.7
conda activate humannerf

2.2 安装 Python 依赖

建议使用国内镜像源加速安装：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2.3 配置 SMPL 模型

1. 从 SMPLify 官网 下载 mpips_smplify_public_v2.zip 并解压。
2. 复制模型文件到项目目录（请替换 /path/to/smpl 为实际解压路径）：

   SMPL_DIR=/path/to/smpl
   MODEL_DIR=$SMPL_DIR/smplify_public/code/models
   cp $MODEL_DIR/basicModel_neutral_lbs_10_207_0_v1.0.0.pkl third_parties/smpl/models
   

3. 移除模型中的 Chumpy 对象（参考 smplx/tools 进行处理）。

3. 基本使用

以下以官方提供的 ZJU-Mocap 数据集（Subject 387）为例，演示最简运行流程。

3.1 准备数据集

1. 下载 ZJU-Mocap 数据集。
2. 修改配置文件 tools/prepare_zju_mocap/387.yaml，将 zju_mocap_path 指向数据集根目录：

   dataset:
       zju_mocap_path: /path/to/zju_mocap
       subject: '387'
       sex: 'neutral'
   

3. 执行数据预处理脚本：

   cd tools/prepare_zju_mocap
   python prepare_dataset.py --cfg 387.yaml
   cd ../../
   

3.2 获取模型

你可以选择下载预训练模型或直接开始训练。

选项 A：下载预训练模型（推荐快速体验）

./scripts/download_model.sh 387

选项 B：自行训练（需多卡或长时间单卡）

# 多卡训练
python train.py --cfg configs/human_nerf/zju_mocap/387/adventure.yaml

# 单卡测试训练（性能不保证）
python train.py --cfg configs/human_nerf/zju_mocap/387/single_gpu.yaml

3.3 渲染输出

运行以下命令生成渲染结果（结果通常保存在 output 或指定目录下）：

渲染原始动作序列：

python run.py \
    --type movement \
    --cfg configs/human_nerf/zju_mocap/387/adventure.yaml 

自由视角渲染（例如第 128 帧）：

python run.py \
    --type freeview \
    --cfg configs/human_nerf/zju_mocap/387/adventure.yaml \
    freeview.frame_idx 128

渲染标准姿态（T-pose）：

python run.py \
    --type tpose \
    --cfg configs/human_nerf/zju_mocap/387/adventure.yaml 

自定义视频提示：若需使用自己的单目视频，需按照 README 中 "Run on a Custom Monocular Video" 章节准备包含 images、masks 和 metadata.json 的特定格式数据集，并使用 configs/human_nerf/wild/monocular/ 下的配置文件进行训练。