Nerfies：可变形神经辐射场

这是Nerfies：可变形神经辐射场的代码。

• 项目页面
• 论文
• 视频

该代码库基于JAX实现，并以JaxNeRF为基础。

本仓库已更新，以反映我们在ICCV 2021投稿中所使用的版本。

演示

我们提供了一个易于上手的演示，使用Google Colab即可运行！

这些Colab笔记本将允许您在Google Colab上使用Cloud TPU（或GPU）训练我们方法的基础版本。

请注意，由于可用计算资源有限，这些并非功能完整的模型。如果您希望训练一个功能完整的Nerfie，请参阅下方关于如何在您自己的机器上进行训练的说明。

描述	链接
将视频处理为Nerfie数据集
训练Nerfie
渲染Nerfie视频

设置

该代码可在任何安装了Python 3.8及以上版本的环境中运行。

（虽然也可能在较低版本下运行，但我们尚未测试过。）

我们建议使用Miniconda并创建一个环境：

conda create --name nerfies python=3.8

接下来，安装所需的软件包：

pip install -r requirements.txt

根据您的环境，按照此处的说明安装合适的JAX发行版。例如：

# 对于CUDA 11.0版本
pip install --upgrade "jax[cuda111]" -f https://storage.googleapis.com/jax-releases/jax_releases.html

训练

准备好数据集后，您可以通过运行以下命令来训练Nerfie：

export DATASET_PATH=/path/to/dataset
export EXPERIMENT_PATH=/path/to/save/experiment/to
python train.py \
    --data_dir $DATASET_PATH \
    --base_folder $EXPERIMENT_PATH \
    --gin_configs configs/test_vrig.gin

为了将遥测数据绘制到TensorBoard并实时渲染检查点，您还需要通过运行以下命令启动评估任务：

python eval.py \
    --data_dir $DATASET_PATH \
    --base_folder $EXPERIMENT_PATH \
    --gin_configs configs/test_vrig.gin

这两个任务应使用互斥的GPU集合。这种分工使得训练任务可以在不中断的情况下进行评估。

配置

• 我们使用Gin进行配置。
• 我们提供了几个预设配置。
• 请参阅config.py以了解每个配置的具体作用。
• 预设配置：
  • gpu_vrig_paper.gin: 这是我们用于生成论文中表格的配置。训练时需要8块GPU。
  • gpu_fullhd.gin: 这是一个高分辨率模型，在8块GPU上训练大约需要3天。
  • gpu_quarterhd.gin: 这是一个低分辨率模型，在8块GPU上训练大约需要14小时。
  • test_local.gin: 这是一个测试配置，用于查看代码是否能正常运行。它可能不会产生很好的效果。
  • test_vrig.gin: 这是一个测试配置，用于验证针对验证装置采集的数据是否能正常运行。它可能也不会产生很好的效果。
• 在较少的GPU上训练时，需要调整批量大小和学习率。我们在gpu_quarterhd_4gpu.gin中提供了一个适用于4块GPU的示例配置，但尚未进行测试，因此请仅将其作为参考。

数据集

数据集是一个具有以下结构的目录：

dataset
    ├── camera
    │   └── ${item_id}.json
    ├── camera-paths
    ├── rgb
    │   ├── ${scale}x
    │   └── └── ${item_id}.png
    ├── metadata.json
    ├── points.npy
    ├── dataset.json
    └── scene.json

从高层次来看，数据集就是以下内容：

• 一组图像（例如来自一段视频）。
• 每张图像的相机参数。

我们为每张图像分配一个唯一标识符，称为item_id，用于匹配相机与图像。item_id可以是任意字符串，但通常是一些字母数字组合，如000054。

camera

• 该目录包含与每张图像相对应的相机。
• 我们使用与OpenCV相机模型相同的相机模型，COLMAP也支持该模型。
• 每个相机都是camera.py中定义的Camera类的序列化版本，格式如下：

{
  // 表示相机方向的3x3世界到相机旋转矩阵。
  "orientation": [
    [0.9839, -0.0968, 0.1499],
    [-0.0350, -0.9284, -0.3699],
    [0.1749, 0.358, -0.9168]
  ],
  // 相机在世界坐标系中的3D位置。
  "position": [-0.3236, -3.26428, 5.4160],
  // 相机的焦距。
  "focal_length": 2691,
  // 相机的主点[u_0, v_0]。
  "principal_point": [1220, 1652],
  // 相机的偏斜。
  "skew": 0.0,
  // 相机像素的宽高比。
  "pixel_aspect_ratio": 1.0,
  // 相机径向畸变的参数。
  "radial_distortion": [0.1004, -0.2090, 0.0],
  // 相机切向畸变的参数。
  "tangential": [0.001109, -2.5733e-05],
  // 图像的宽度和高度，单位为像素。
  "image_size": [2448, 3264]
}

camera-paths

• 该目录包含可用于渲染视频的测试时刻相机路径。
• 此路径中的每个子目录都应包含一系列JSON文件。
• 命名规则并不重要，但相机将按文件名排序。

rgb

• 该目录包含不同尺度的图像。
• 每个子目录应命名为${scale}x，其中${scale}为整数缩放因子。例如，1x包含原始图像，而4x则包含四分之一大小的图像。
• 我们假设图像为PNG格式。
• 重要的是，缩放后的图像应是原始图像的整数倍，以便在缩放图像时能够利用面积关系，防止出现莫尔纹。一种简单的方法是直接裁剪图像的边框，使其能被您希望的最大缩放因子整除。

metadata.json

• 用于定义嵌入查找所使用的“元数据”ID。
• 包含一个如下格式的字典：

{
    "${item_id}": {
        // 用于获取变形潜在代码的嵌入ID
        // 该代码将传递给变形场。
        "warp_id": 0,
        // 用于获取外观潜在代码的嵌入ID
        // 该代码将传递给模板NeRF的第二分支。
        "appearance_id": 0,
        // 对于验证绑定数据集，我们使用相机ID代替外观ID。例如，左相机为“0”，右相机为“1”。这在多视角设置中也可能适用。
        "camera_id": 0
    },
    ...
},

scene.json

• 包含关于我们如何解析场景的信息。
• 请参阅行内注释。

{
  // 我们将应用于点云和相机的缩放因子。这一点很重要，因为它控制了在计算位置编码时所采用的尺度。
  "scale": 0.0387243672920458,
  // 定义场景的原点。场景将被平移，使该点成为原点。以未缩放的坐标定义。
  "center": [
    1.1770838526103944e-08,
    -2.58235339289195,
    -1.29117656263135
  ],
  // 近平面距相机中心的缩放后距离。
  "near": 0.02057418950149491,
  // 远平面距相机中心的缩放后距离。
  "far": 0.8261601717667288
}

dataset.json

• 定义数据集的训练/验证划分。
• 请参阅行内注释：

{
  // 数据集中图像的总数。
  "count": 114,
  // 数据集中训练图像（示例）的总数。
  "num_exemplars": 57,
  // 包含数据集中所有项目ID的列表。
  "ids": [...],
  // 包含数据集中所有训练项目ID的列表。
  "train_ids": [...],
  // 包含数据集中所有验证项目ID的列表。
  // 此列表应与`train_ids`互斥。
  "val_ids": [...],
}

points.npy

• 一个NumPy文件，包含一个大小为(N,3)的单数组，其中存储了背景点。
• 如果您希望使用背景正则化损失，则需要此文件。

引用

如果您觉得我们的工作有用，请考虑引用：

@article{park2021nerfies
  author    = {Park, Keunhong 
               and Sinha, Utkarsh 
               and Barron, Jonathan T. 
               and Bouaziz, Sofien 
               and Goldman, Dan B 
               and Seitz, Steven M. 
               and Martin-Brualla, Ricardo},
  title     = {Nerfies: 可变形神经辐射场},
  journal   = {ICCV},
  year      = {2021},
}

Nerfies 快速上手指南

环境准备

• 操作系统：Linux / macOS / Windows（WSL2）
• Python ≥ 3.8（推荐 3.8）
• GPU：NVIDIA 显卡 + CUDA ≥ 11.0（训练必需）
• 内存：≥ 16 GB（训练高分辨率模型建议 32 GB+）

安装步骤

1. 创建并激活 Conda 环境

   conda create --name nerfies python=3.8
   conda activate nerfies
   

2. 安装依赖

   pip install -r requirements.txt
   

3. 安装 JAX（CUDA 11.1 示例）

   pip install --upgrade "jax[cuda111]" -f https://storage.googleapis.com/jax-releases/jax_releases.html
   

   国内用户可换清华镜像：

   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple --upgrade "jax[cuda111]" -f https://storage.googleapis.com/jax-releases/jax_releases.html
   

基本使用

1. 准备数据集

• 用手机或相机围绕目标拍一段 30–60 秒的视频
• 上传到 Google Colab（无需本地 GPU）
  

2. 训练模型（本地）

export DATASET_PATH=/path/to/your/dataset
export EXPERIMENT_PATH=/path/to/save/experiment
python train.py \
    --data_dir $DATASET_PATH \
    --base_folder $EXPERIMENT_PATH \
    --gin_configs configs/test_vrig.gin

3. 渲染视频

python eval.py \
    --data_dir $DATASET_PATH \
    --base_folder $EXPERIMENT_PATH \
    --gin_configs configs/test_vrig.gin

或使用 Colab 一键渲染：

完成！模型结果将保存在 $EXPERIMENT_PATH 目录。