用于实时动态场景渲染的四维高斯泼溅法

CVPR 2024

项目页面| arXiv论文

Guanjun Wu ^1*, Taoran Yi ^2*, Jiemin Fang ^3‡, Lingxi Xie ³ ,
Xiaopeng Zhang ³ , Wei Wei ¹ ,Wenyu Liu ² , Qi Tian ³ , Xinggang Wang ^2‡✉

¹ 华中科技大学计算机科学学院   ² 华中科技大学电子信息与通信工程学院   ³ 华为公司  

^* 共同贡献。 ^$\ddagger$ 项目负责人。 ^✉ 通讯作者。

我们的方法收敛非常迅速，能够实现实时渲染速度。

新的Colab演示：（感谢Tasmay-Tibrewal ）

旧的Colab演示：（感谢camenduru.）

轻量级高斯实现：此链接（感谢pablodawson）

新闻

2024年6月25日：我们清理了代码，并添加了参数说明。

2024年3月25日：更新了hypernerf和dynerf数据集的使用指南。

2024年3月4日：我们调整了Neu3D数据集的超参数，以匹配我们的论文。

2024年2月28日：更新了SIBR查看器的使用指南。

2024年2月27日：被CVPR 2024接收。我们删除了一些用于调试的日志设置，修正后的训练时间在D-NeRF数据集中仅为8分钟（之前为20分钟），在HyperNeRF数据集中仅为30分钟（之前为1小时）。渲染质量不受影响。

环境配置

请按照3D-GS的说明安装相关软件包。

git clone https://github.com/hustvl/4DGaussians
cd 4DGaussians
git submodule update --init --recursive
conda create -n Gaussians4D python=3.7 
conda activate Gaussians4D

pip install -r requirements.txt
pip install -e submodules/depth-diff-gaussian-rasterization
pip install -e submodules/simple-knn

在我们的环境中，我们使用pytorch=1.13.1+cu116。

数据准备

对于合成场景： 使用D-NeRF提供的数据集。您可以从dropbox下载该数据集。

对于真实动态场景： 使用HyperNeRF提供的数据集。您可以从Hypernerf数据集下载场景，并按照Nerfies的方式组织它们。

同时，您也可以从Plenoptic数据集的官方网站下载数据。为了节省内存，您应该提取每个视频的帧，然后按如下方式组织您的数据集。

├── data
│   | dnerf 
│     ├── mutant
│     ├── standup 
│     ├── ...
│   | hypernerf
│     ├── interp
│     ├── misc
│     ├── virg
│   | dynerf
│     ├── cook_spinach
│       ├── cam00
│           ├── images
│               ├── 0000.png
│               ├── 0001.png
│               ├── 0002.png
│               ├── ...
│       ├── cam01
│           ├── images
│               ├── 0000.png
│               ├── 0001.png
│               ├── ...
│     ├── cut_roasted_beef
|     ├── ...

对于多视角场景： 如果您想训练自己的多视角场景数据集，可以按以下方式组织您的数据集：

├── data
|   | multipleview
│     | (您的数据集名称) 
│   	  | cam01
|     		  ├── frame_00001.jpg
│     		  ├── frame_00002.jpg
│     		  ├── ...
│   	  | cam02
│     		  ├── frame_00001.jpg
│     		  ├── frame_00002.jpg
│     		  ├── ...
│   	  | ...

之后，您可以使用我们提供的multipleviewprogress.sh脚本来生成相关的姿态和点云数据。使用方法如下：

bash multipleviewprogress.sh (您的数据集名称)

运行multipleviewprogress.sh后，您需要确保data文件夹按如下方式组织：

├── data
|   | multipleview
│     | (您的数据集名称) 
│   	  | cam01
|     		  ├── frame_00001.jpg
│     		  ├── frame_00002.jpg
│     		  ├── ...
│   	  | cam02
│     		  ├── frame_00001.jpg
│     		  ├── frame_00002.jpg
│     		  ├── ...
│   	  | ...
│   	  | sparse_
│     		  ├── cameras.bin
│     		  ├── images.bin
│     		  ├── ...
│   	  | points3D_multipleview.ply
│   	  | poses_bounds_multipleview.npy

训练

对于训练如bouncingballs这样的合成场景，运行

python train.py -s data/dnerf/bouncingballs --port 6017 --expname "dnerf/bouncingballs" --configs arguments/dnerf/bouncingballs.py 

对于训练如cut_roasted_beef这样的dynerf场景，运行

# 首先，提取每个视频的帧。
python scripts/preprocess_dynerf.py --datadir data/dynerf/cut_roasted_beef
# 其次，从输入数据中生成点云。
bash colmap.sh data/dynerf/cut_roasted_beef llff
# 第三步，对第二步生成的点云进行下采样。
python scripts/downsample_point.py data/dynerf/cut_roasted_beef/colmap/dense/workspace/fused.ply data/dynerf/cut_roasted_beef/points3D_downsample2.ply
# 最后，进行训练。
python train.py -s data/dynerf/cut_roasted_beef --port 6017 --expname "dynerf/cut_roasted_beef" --configs arguments/dynerf/cut_roasted_beef.py 

对于训练如virg/broom这样的hypernerf场景：COLMAP预生成的点云已在此处提供这里。只需下载并放入相应的文件夹，即可跳过前两步。您也可以直接运行以下命令。

# 首先，使用COLMAP计算密集型点云。
bash colmap.sh data/hypernerf/virg/broom2 hypernerf
# 其次，对第一步生成的点云进行下采样。
python scripts/downsample_point.py data/hypernerf/virg/broom2/colmap/dense/workspace/fused.ply data/hypernerf/virg/broom2/points3D_downsample2.ply

# 最后，开始训练。
python train.py -s  data/hypernerf/virg/broom2/ --port 6017 --expname "hypernerf/broom2" --configs arguments/hypernerf/broom2.py 

对于多视角场景的训练，你需要在“./arguments/mutipleview”目录下创建一个名为（你的数据集名称）.py的配置文件，之后运行：

python train.py -s  data/multipleview/(your dataset name) --port 6017 --expname "multipleview/(your dataset name)" --configs arguments/multipleview/(you dataset name).py 

对于自定义数据集，请先安装Nerfstudio，并按照其COLMAP流程进行操作。首先需要安装COLMAP，然后：

pip install nerfstudio
# 使用COLMAP流程计算相机位姿
ns-process-data images --data data/your-data --output-dir data/your-ns-data
cp -r data/your-ns-data/images data/your-ns-data/colmap/images
python train.py -s data/your-ns-data/colmap --port 6017 --expname "custom" --configs arguments/hypernerf/default.py 

你可以通过配置文件来自定义训练参数。

检查点

此外，你也可以使用检查点来继续训练模型。

python train.py -s data/dnerf/bouncingballs --port 6017 --expname "dnerf/bouncingballs" --configs arguments/dnerf/bouncingballs.py --checkpoint_iterations 200 # 可以根据需要调整

然后加载检查点：

python train.py -s data/dnerf/bouncingballs --port 6017 --expname "dnerf/bouncingballs" --configs arguments/dnerf/bouncingballs.py --start_checkpoint "output/dnerf/bouncingballs/chkpnt_coarse_200.pth"
# 精细阶段：--start_checkpoint "output/dnerf/bouncingballs/chkpnt_fine_200.pth"

渲染

运行以下脚本以渲染图像。

python render.py --model_path "output/dnerf/bouncingballs/"  --skip_train --configs arguments/dnerf/bouncingballs.py 

评估

只需运行以下脚本即可评估模型。

python metrics.py --model_path "output/dnerf/bouncingballs/" 

查看器

观看教程

脚本

这里有一些有用的脚本，欢迎使用。

export_perframe_3DGS.py: 获取每个时间戳下的所有3D高斯点云。

用法：

python export_perframe_3DGS.py --iteration 14000 --configs arguments/dnerf/lego.py --model_path output/dnerf/lego 

你会在output/dnerf/lego/gaussian_pertimestamp中找到一组3D高斯点云。

weight_visualization.ipynb:

可视化多分辨率六边形平面模块的权重。

merge_many_4dgs.py: 合并你训练好的4D高斯场景。

用法：

export exp_name="dynerf"
python merge_many_4dgs.py --model_path output/$exp_name/sear_steak

colmap.sh: 从输入数据生成点云

bash colmap.sh data/hypernerf/virg/vrig-chicken hypernerf 
bash colmap.sh data/dynerf/sear_steak llff

Blender 格式似乎目前还不支持。欢迎提交拉取请求来修复这个问题。

downsample_point.py :对SFM生成的点云进行下采样。

python scripts/downsample_point.py data/dynerf/sear_steak/colmap/dense/workspace/fused.ply data/dynerf/sear_steak/points3D_downsample2.ply

在我的论文中，我通常使用colmap.sh生成稠密点云，并将其下采样到4万点以下。

以下是一些可能有用但未在我论文中采用的代码，你也可以尝试一下。

优秀的同期/相关工作

也欢迎查看这些优秀的同期或相关工作，包括但不限于：

用于高保真单目动态场景重建的可变形3D高斯

SC-GS：用于可编辑动态场景的稀疏控制高斯泼溅

MD-Splatting：从高度变形场景中的4D高斯学习度量变形

4DGen：具有时空一致性的基于地面的4D内容生成

Diffusion4D：通过视频扩散模型实现快速的时空一致性4D生成

DreamGaussian4D：生成式4D高斯泼溅

EndoGaussian：用于动态内窥镜场景重建的实时高斯泼溅

EndoGS：利用高斯泼溅重建可变形的内窥镜组织

Endo-4DGS：使用4D高斯泼溅进行内窥镜单目场景重建

贡献

该项目仍在开发中。欢迎提出问题或提交拉取请求，为我们的代码库做出贡献。

我们的一些源代码借鉴了3DGS、K-planes、HexPlane、TiNeuVox以及Depth-Rasterization。我们衷心感谢这些作者的杰出工作。

致谢

我们衷心感谢@zhouzhenghong-gt对我们代码的修改以及关于论文内容的讨论。

引用

关于神经体素网格和动态场景重建的一些见解来源于TiNeuVox。如果你觉得这个仓库或工作对你的研究有帮助，欢迎引用这些论文并给予一颗星。

@InProceedings{Wu_2024_CVPR,
    author    = {吴冠军、易涛然、方继民、谢凌熙、张晓鹏、魏伟、刘文宇、田琪、王兴刚},
    title     = {用于实时动态场景渲染的4D高斯泼溅},
    booktitle = {IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集},
    month     = {六月},
    year      = {2024},
    pages     = {20310-20320}
}

@inproceedings{TiNeuVox,
  author = {方继民、易涛然、王兴刚、谢凌熙、张晓鹏、刘文宇、Nie\ss{}ner, Matthias、田琪},
  title = {具有时间感知神经体素的快速动态辐射场},
  year = {2022},
  booktitle = {SIGGRAPH Asia 2022会议论文集}
}

4DGaussians 快速上手指南

4DGaussians 是一个用于实时动态场景渲染的开源项目，基于高斯泼溅（Gaussian Splatting）技术，支持从合成数据到真实动态视频的快速重建与渲染。

环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu)
• Python: 3.7
• PyTorch: 1.13.1 + CUDA 11.6 (或其他兼容版本)
• 显卡: 支持 CUDA 的 NVIDIA GPU
• 其他依赖: COLMAP (用于自定义数据集的点云生成)

前置依赖

确保已安装 conda 和 git。若需处理自定义数据集，请预先安装 COLMAP。

安装步骤

1. 克隆仓库并初始化子模块

   git clone https://github.com/hustvl/4DGaussians
   cd 4DGaussians
   git submodule update --init --recursive
   

2. 创建并激活 Conda 环境

   conda create -n Gaussians4D python=3.7 
   conda activate Gaussians4D
   

3. 安装 Python 依赖及扩展模块

   建议配置国内镜像源加速下载（如清华源）： pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

   pip install -r requirements.txt
   pip install -e submodules/depth-diff-gaussian-rasterization
   pip install -e submodules/simple-knn
   

基本使用

以下以官方提供的合成数据集 bouncingballs 为例，演示最简训练与渲染流程。

1. 数据准备

下载 D-NeRF 数据集 并解压，确保目录结构如下：

├── data
│   └── dnerf 
│       └── bouncingballs

2. 开始训练

运行以下命令启动训练过程：

python train.py -s data/dnerf/bouncingballs --port 6017 --expname "dnerf/bouncingballs" --configs arguments/dnerf/bouncingballs.py 

注：在 D-NeRF 数据集上，训练时间约为 8 分钟。

3. 渲染结果

训练完成后，使用以下命令生成渲染图像：

python render.py --model_path "output/dnerf/bouncingballs/"  --skip_train --configs arguments/dnerf/bouncingballs.py 

4. 评估模型（可选）

计算 PSNR、SSIM 等指标：

python metrics.py --model_path "output/dnerf/bouncingballs/" 

---

提示：若需使用真实动态场景（如 HyperNeRF 或 DyNeRF 数据集），需先按照 README 中的说明进行视频抽帧和 COLMAP 点云生成预处理，再指定对应的配置文件进行训练。