NeRF-pytorch

NeRF（神经辐射场）是一种在复杂场景新视角合成任务中达到最先进水平的方法。以下是该仓库生成的一些视频（下方提供了预训练模型）：

本项目是对 NeRF 的忠实 PyTorch 实现，能够在复现原结果的同时，运行速度提升至1.3倍。代码基于作者的 TensorFlow 实现此处，并经过测试，在数值上与之完全一致。

安装

git clone https://github.com/yenchenlin/nerf-pytorch.git
cd nerf-pytorch
pip install -r requirements.txt

依赖项（点击展开）

依赖项

• PyTorch 1.4
• matplotlib
• numpy
• imageio
• imageio-ffmpeg
• configargparse

LLFF 数据加载器需要 ImageMagick。

如果您想使用自己的真实数据进行实验，还需要设置好 LLFF 代码（以及 COLMAP）来计算相机位姿。

如何运行？

快速入门

下载两个示例数据集 lego 和 fern 的数据：

bash download_example_data.sh

训练低分辨率的 lego NeRF：

python run_nerf.py --config configs/lego.txt

训练 10 万次迭代后（在单张 2080 Ti 上大约需 4 小时），您可以在 logs/lego_test/lego_test_spiral_100000_rgb.mp4 中找到以下视频。

---

训练低分辨率的 fern NeRF：

python run_nerf.py --config configs/fern.txt

训练 20 万次迭代后（在单张 2080 Ti 上大约需 8 小时），您可以在 logs/fern_test/fern_test_spiral_200000_rgb.mp4 和 logs/fern_test/fern_test_spiral_200000_disp.mp4 中找到以下视频。

---

更多数据集

要尝试论文中提到的其他场景，请从这里下载数据。请按照以下目录结构放置下载的数据：

├── configs                                                                                                       
│   ├── ...                                                                                     
│                                                                                               
├── data                                                                                                                                                                                                       
│   ├── nerf_llff_data                                                                                                  
│   │   └── fern                                                                                                                             
│   │   └── flower  # 下载的 llff 数据集                                                                                  
│   │   └── horns   # 下载的 llff 数据集
|   |   └── ...
|   ├── nerf_synthetic
|   |   └── lego
|   |   └── ship    # 下载的合成数据集
|   |   └── ...

---

要在不同数据集上训练 NeRF：

python run_nerf.py --config configs/{DATASET}.txt

将 {DATASET} 替换为 trex | horns | flower | fortress | lego 等。

---

要测试在不同数据集上训练的 NeRF：

python run_nerf.py --config configs/{DATASET}.txt --render_only

将 {DATASET} 替换为 trex | horns | flower | fortress | lego 等。

预训练模型

您可以从这里下载预训练模型。将下载的文件夹放入 ./logs 目录中，以便后续测试。以下是一个示例目录结构：

├── logs 
│   ├── fern_test
│   ├── flower_test  # 下载的日志
│   ├── trex_test    # 下载的日志

可复现性

确保所有函数和训练循环的结果与官方实现一致的测试包含在一个名为 reproduce 的分支中。您可以检出该分支并运行测试：

git checkout reproduce
py.test

方法

NeRF：将场景表示为神经辐射场以进行视图合成
Ben Mildenhall*¹, Pratul P. Srinivasan*¹, Matthew Tancik*¹, Jonathan T. Barron², Ravi Ramamoorthi³, Ren Ng^1
1UC Berkeley, ²Google Research, ³UC San Diego
*表示共同贡献

神经辐射场是一个简单的全连接网络（权重约 5MB），通过渲染损失训练以重现单个场景的输入视图。该网络直接从空间位置和观察方向（5D 输入）映射到颜色和不透明度（4D 输出），充当“体”，因此我们可以使用体渲染以可微分的方式渲染新视图。

引用

向作者们致敬，感谢他们取得的卓越成果：

@misc{mildenhall2020nerf,
    title={NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis},
    author={Ben Mildenhall and Pratul P. Srinivasan and Matthew Tancik and Jonathan T. Barron and Ravi Ramamoorthi and Ren Ng},
    year={2020},
    eprint={2003.08934},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

然而，如果您觉得本实现或预训练模型有所帮助，请考虑引用：

@misc{lin2020nerfpytorch,
  title={NeRF-pytorch},
  author={Yen-Chen, Lin},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished={\url{https://github.com/yenchenlin/nerf-pytorch/}},
  year={2020}
}

NeRF-pytorch 快速上手指南

NeRF-pytorch 是经典神经辐射场（Neural Radiance Fields）项目的 PyTorch 复现版本。它在保持与官方 TensorFlow 实现数值一致的前提下，运行速度提升了约 1.3 倍，支持从单场景图像合成高质量的新视角视图。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux 或 macOS（Windows 需额外配置 ImageMagick 等依赖，建议优先使用 Linux）。
• Python 版本：推荐 Python 3.6+。
• 硬件要求：需要 NVIDIA GPU（项目测试基于 2080 Ti，显存建议 8GB 以上以训练低分辨率模型）。
• 核心依赖：
  • PyTorch 1.4+
  • matplotlib, numpy, imageio, imageio-ffmpeg, configargparse
• 外部工具（可选）：
  • 若需处理自定义真实世界数据，需安装 ImageMagick 以及 LLFF 和 COLMAP 用于计算相机姿态。

提示：国内用户安装 Python 依赖时，建议使用清华或阿里镜像源加速： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆仓库

   git clone https://github.com/yenchenlin/nerf-pytorch.git
   cd nerf-pytorch
   

2. 安装依赖

   pip install -r requirements.txt
   

3. 下载示例数据 执行脚本自动下载 lego 和 fern 两个示例数据集：

   bash download_example_data.sh
   

   (注：若下载速度慢，可手动从 Google Drive 链接下载并解压至 data 目录，保持 README 中描述的目录结构)

基本使用

以下以训练低分辨率的 lego 数据集为例，展示最简工作流程。

1. 开始训练

运行以下命令启动训练过程。在单张 2080 Ti 显卡上，训练 100k 次迭代（约 4 小时）即可得到不错的效果。

python run_nerf.py --config configs/lego.txt

训练日志和中间结果将保存在 logs/ 目录下。

2. 查看结果

训练完成后，生成的螺旋视角渲染视频位于： logs/lego_test/lego_test_spiral_100000_rgb.mp4

3. 切换其他数据集

若要训练其他场景（如 fern, flower, horns 等），只需替换配置文件名：

# 训练 fern 数据集 (约需 200k 迭代)
python run_nerf.py --config configs/fern.txt

# 训练 horns 数据集
python run_nerf.py --config configs/horns.txt

4. 仅进行测试/渲染

如果您已拥有预训练模型（需下载并放入 ./logs 目录），可使用 --render_only 参数直接生成视频而无需重新训练：

python run_nerf.py --config configs/lego.txt --render_only