用于鲁棒视图合成的渐进式优化局部辐射场

我们提出了一种从单个随意拍摄的视频中重建大规模场景辐射场的算法。该任务面临两个核心挑战。首先，大多数现有的辐射场重建方法依赖于通过运动恢复结构（SfM）算法精确预估的相机位姿，而这些方法在野外采集的视频中往往失效。其次，使用单一的全局辐射场，由于其表示能力有限，无法扩展到无界场景中的较长轨迹。为了解决未知位姿问题，我们以渐进的方式联合估计相机位姿和辐射场。实验表明，渐进式优化显著提高了重建的鲁棒性。针对大型无界场景，我们动态分配新的局部辐射场，并利用时间窗口内的帧对其进行训练。这进一步提升了鲁棒性（例如，在存在适度位姿漂移的情况下仍能表现良好），并使我们能够处理大规模场景。我们在Tanks and Temples数据集以及我们收集的户外数据集Static Hikes上的大量评估表明，我们的方法与当前最先进方法相比具有优势。

项目页面 | 论文 | 数据

Andreas Meuleman, Yu-Lun Liu, Chen Gao, Jia-Bin Huang, Changil Kim, Min H. Kim, Johannes Kopf

环境配置

已在PyTorch 2.0、CUDA 11.8以及ROCm 5.4.2计算平台上测试通过。

git clone --recursive https://github.com/facebookresearch/localrf && cd localrf
conda create -n localrf python=3.8 -y
conda activate localrf
pip install torch torchvision # 请根据您的计算平台替换为pytorch.org官网对应的安装命令
pip install tqdm scikit-image opencv-python configargparse lpips imageio-ffmpeg kornia lpips tensorboard imageio easydict matplotlib scipy==1.6.1 plyfile joblib timm

数据预处理

下载徒步场景数据。

我们使用RAFT和DPT分别进行光流估计和单目深度先验计算。

获取预训练权重：

bash scripts/download_weights.sh

运行光流和深度估计（假设图像文件已按顺序存放在${SCENE_DIR}/images目录下）：

python scripts/run_flow.py --data_dir ${SCENE_DIR}
python DPT/run_monodepth.py --input_path ${SCENE_DIR}/images --output_path ${SCENE_DIR}/depth --model_type dpt_large

或者，您也可以运行scripts/preprocess_all.sh来预处理所有徒步场景。

模型优化

python localTensoRF/train.py --datadir ${SCENE_DIR} --logdir ${LOG_DIR} --fov ${FOV}

训练完成后，测试视图和平滑轨迹将存储在${LOG_DIR}中。我们还提供了scripts/train_all.sh脚本，用于同时启动多个场景的优化。

引用

@inproceedings{meuleman2023localrf,
  author    = {Meuleman, Andreas and Liu, Yu-Lun and Gao, Chen and Huang, Jia-Bin and Kim, Changil and Kim, Min H. and Kopf, Johannes},
  title     = {Progressively Optimized Local Radiance Fields for Robust View Synthesis},
  booktitle = {CVPR},
  year      = {2023},
}

致谢

本代码采用MIT许可证开源，并借鉴了同样采用MIT许可证的TensoRF和DynamicNeRF。这些项目的许可证可在licenses/文件夹中找到。

我们使用RAFT和DPT分别进行光流估计和单目深度先验计算。

LocalRF 快速上手指南

LocalRF 是一个用于从单段随意拍摄的视频中重建大规模场景辐射场的算法。它通过渐进式优化局部辐射场，解决了未知相机姿态和无界大场景的重建难题，无需依赖精确的 SfM 预估计姿态。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐)
• Python: 3.8
• 深度学习框架: PyTorch 2.0+
• 计算平台: CUDA 11.8 或 ROCm 5.4.2
• 硬件: 支持 CUDA 的 NVIDIA GPU（显存建议 8GB 以上）

安装步骤

1. 克隆代码库

git clone --recursive https://github.com/facebookresearch/localrf && cd localrf

2. 创建并激活 Conda 环境

conda create -n localrf python=3.8 -y
conda activate localrf

3. 安装 PyTorch

请根据您的实际硬件环境，访问 PyTorch 官网 获取对应的安装命令。以下为 CUDA 11.8 的示例：

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118

国内加速提示：如果下载速度慢，可使用清华源或阿里源替代官方源，例如： pip install torch torchvision --index-url https://pypi.tuna.tsinghua.edu.cn/simple (需确认该源是否有对应 CUDA 版本的 wheel 包，否则建议使用官方源)。

4. 安装其他依赖

pip install tqdm scikit-image opencv-python configargparse lpips imageio-ffmpeg kornia tensorboard imageio easydict matplotlib scipy==1.6.1 plyfile joblib timm

5. 下载预训练权重

运行脚本下载 RAFT (光流) 和 DPT (单目深度) 所需的预训练模型：

bash scripts/download_weights.sh

基本使用

1. 数据预处理

在使用自己的视频数据前，需要先估计光流和单目深度。假设您的图像已按顺序存放在 ${SCENE_DIR}/images 目录下。

步骤 A: 运行光流估计

python scripts/run_flow.py --data_dir ${SCENE_DIR}

步骤 B: 运行深度估计

python DPT/run_monodepth.py --input_path ${SCENE_DIR}/images --output_path ${SCENE_DIR}/depth --model_type dpt_large

示例数据：您可以下载官方提供的 Hike Scenes 数据集 进行测试。如需批量处理所有示例场景，可运行 scripts/preprocess_all.sh。

2. 开始训练与优化

完成预处理后，运行主训练脚本。您需要指定数据目录、日志输出目录以及相机的视场角 (FOV)。

python localTensoRF/train.py --datadir ${SCENE_DIR} --logdir ${LOG_DIR} --fov ${FOV}

• ${SCENE_DIR}: 包含 images, flows, depth 等文件夹的场景根目录。
• ${LOG_DIR}: 训练结果（包括测试视图和平滑后的轨迹）的保存路径。
• ${FOV}: 相机的水平视场角（单位：度），需根据拍摄设备估算。

训练完成后，合成的新视角视频和优化后的相机轨迹将自动保存在 ${LOG_DIR} 中。