BlenderNeRF

无论您是视觉特效艺术家、研究人员，还是图形爱好者，BlenderNeRF 都是在 Blender 中创建合成 NeRF 和 Gaussian Splatting 数据集的最简单快捷方式。只需点击一下即可获取渲染结果和相机参数，同时完全掌控 3D 场景和相机！

准备好开始 NeRF 吗？立即在 Blender 中点击一下，观看 本教程 吧！

神经辐射场

神经辐射场（NeRF） 的目标是仅利用 2D 图像及其对应的相机信息，将 3D 场景表示为与视角相关的体三维对象。通过一个简单的神经网络，从训练图像中逆向重建出 3D 场景。

Gaussian Splatting 是一种后续方法，以基于点的方式渲染辐射场。这种表示方式针对 GPU 渲染进行了高度优化，并借助更传统的图形技术实现高帧率。

我推荐观看 Corridor Crew 制作的 这则 YouTube 视频，它深入探讨了 NeRF 的一些应用场景及未来潜力。

动机

渲染是一项计算密集型任务。逼真的场景根据其复杂度、硬件条件以及可用的软件资源，可能需要几秒到几小时才能完成渲染。

NeRF 和 Gaussian Splat 可以加速这一过程，但通常需要通过繁琐的代码提取相机信息。而这款插件让任何人都能在 Blender 中只需点击一下，即可轻松获得渲染结果和相机数据。

安装

1. 将本仓库下载为 ZIP 文件。
2. 打开 Blender（4.0.0 或更高版本）。
3. 在 Blender 中，前往 编辑 > 首选项 > 插件，并在下拉菜单中选择 从磁盘安装。
4. 选择已下载的 ZIP 文件。

尽管 BlenderNeRF 提供了可下载的发布版本，但这些版本主要用于追踪重大代码变更和引用目的。我建议直接下载当前仓库，因为一些小的改动或错误修复可能不会立即包含在发布版本中。

设置

BlenderNeRF 包含以下三个方法，分别在下面的小节中介绍。每种方法都能生成用于 NeRF 训练的数据和测试数据：训练数据以训练图像的形式提供，而测试数据则以 transforms_train.json 和 transforms_test.json 文件的形式存储相应的相机信息。这些数据会被归档到一个包含训练和测试文件夹的单个 ZIP 文件中。训练数据可供 NeRF 模型学习 3D 场景的表示；训练完成后，该模型可以使用测试数据（仅包含相机信息）进行评估（或测试），从而生成新的渲染结果。

帧子集

帧子集（SOF） 会从摄像机动画中每隔 N 帧渲染一次，并将这些渲染帧作为 NeRF 的训练数据。注册的测试数据则涵盖同一摄像机动画的所有帧，包括训练帧。经过训练后，NeRF 模型能够渲染完整的摄像机动画，因此非常适合对静态场景的大规模动画进行插值或渲染。

训练与测试相机

训练与测试相机（TTC） 会从用户定义的两台独立摄像机中分别记录训练和测试数据。随后，NeRF 模型可以使用从训练相机中提取的数据进行拟合，并在测试数据上进行评估。

球面上的相机

球面上的相机（COS） 会通过均匀采样随机的相机视角，从用户控制的球体上朝向中心进行训练帧的渲染。测试数据则从选定的相机中提取。

如何使用这些方法

附加组件的属性面板可在 3D视图 > N面板 > BlenderNeRF 中找到（按 N 键即可打开 N面板）。所有三种方法（SOF、TTC 和 COS）共享一个名为 BlenderNeRF 共享UI 的选项卡，其中包含以下可控制的属性。

• Train（默认启用）：是否注册训练数据（渲染图像 + 相机信息）
• Test（默认启用）：是否注册测试数据（仅相机信息）
• AABB（默认设置为 4）：如 Instant NGP 中所述的 aabb 缩放参数（详情见下文）
• Render Frames（默认启用）：是否渲染帧
• Save Log File（默认禁用）：是否保存包含 BlenderNeRF 运行可复现性信息的日志文件
• File Format（默认为 NGP）：是否以 Instant NGP 或默认 NeRF 文件格式导出相机文件
• Gaussian Points（默认禁用）：是否导出用于高斯泼溅的 points3d.ply 文件
• Gaussian Test Camera Poses（默认为 Dummy）：是否导出虚拟测试相机文件，或完整的测试相机位姿集（仅在启用 Gaussian Points 时可用）
• Save Path（默认为空）：输出目录路径，数据集将在此处创建

如果 Gaussian Points 属性处于启用状态，BlenderNeRF 将从所有可见网格（在渲染时）中创建一个额外的 points3d.ply 文件，其中每个顶点都将用作初始化点。如果有顶点颜色，则会保留；否则设为黑色。

Gaussian Splatting 仓库原生支持 NeRF 数据集，但需要同时提供训练和测试数据。对于 Gaussian Test Camera Poses 属性，选择 Dummy 选项会生成一个空的测试相机位姿文件，适用于不需要测试图像的情况。而选择 Full 选项则会导出默认的测试相机位姿，但需要单独渲染一个包含所有测试渲染图像的 test 文件夹。

AABB 限制为 2 的整数次幂，它定义了 NeRF 在其中追踪光线的包围盒体积的边长。该属性由 NVIDIA 的 Instant NGP 版本的 NeRF 引入。

File Format 属性可选择 NGP 或 NeRF。NGP 文件格式与 NeRF 格式相同，但增加了一些额外的参数，这些参数可通过 Instant NGP 访问。

请注意，每种方法都有其独特的 Name 属性（默认设置为 dataset），对应于数据集名称以及相应方法生成的 ZIP 文件名。请记住，不支持的字符，例如空格、# 或 /，将自动替换为下划线。

以下是每种方法特有的属性说明（已略去 Name 属性，因其已在上文讨论过）。

SOF 使用方法

• Frame Step（默认设置为 3）：N（如 设置 部分所定义）= 注册训练帧的频率
• Camera（始终设置为当前活动相机）：用于注册训练和测试数据的相机
• PLAY SOF：运行 Subset of Frames 方法操作符以导出 NeRF 数据

TTC 使用方法

• Frames（默认设置为 100）：从训练相机中使用的训练帧数量
• Train Cam（默认为空）：用于注册训练数据的相机
• Test Cam（默认为空）：用于注册测试数据的相机
• PLAY TTC：运行 Train and Test Cameras 方法操作符以导出 NeRF 数据

Frames 指定数量的训练帧将使用 Train Cam 对象从场景开始帧开始捕获。

COS 使用方法

• Camera（始终设置为当前活动相机）：用于注册测试数据的相机
• Location（默认设置为 0 m 向量）：采样相机视角的训练球体中心位置
• Rotation（默认设置为 0° 向量）：采样相机视角的训练球体旋转角度
• Scale（默认设置为 1 向量）：训练球体在 xyz 轴上的缩放向量
• Radius（默认设置为 4 m）：训练球体的半径标量
• Lens（默认设置为 50 mm）：训练相机的焦距
• Seed（默认设置为 0）：用于初始化随机相机视角采样过程的种子
• Frames（默认设置为 100）：从训练球体中采样并渲染的训练帧数量
• Sphere（默认禁用）：是否显示用于随机视角采样的训练球体
• Camera（默认禁用）：是否显示用于注册训练数据的相机
• Upper Views（默认禁用）：是否仅从训练球体的上半球采样视角（旋转变体）
• Outwards（默认禁用）：是否让相机指向训练球体外部
• PLAY COS：运行 Camera on Sphere 方法操作符以导出 NeRF 数据

请注意，启用 Sphere 和 Camera 属性会分别创建一个名为 BlenderNeRF Sphere 的空对象和一个名为 BlenderNeRF Camera 的相机对象。请勿手动创建具有这些名称的对象，否则可能会导致附加组件功能失效。

Frames 指定数量的训练帧将使用 BlenderNeRF Camera 对象从场景开始帧开始捕获。最后，请注意，训练相机被锁定在原位，无法手动移动。

获得最佳效果的提示

NVIDIA 提供了一些关于如何使用 Instant NGP 训练 NeRF 模型的实用建议。欢迎访问他们的仓库获取更多帮助。以下是一些基于个人经验总结的优化 nerfing 的快速提示。

• NeRF 最适合使用 50 至 150 张图像进行训练
• 测试视角不应与训练视角相差过大
• 场景运动、运动模糊或模糊伪影会降低重建质量
• 捕获的场景应至少距离相机一个 Blender 单位
• 尽可能将 AABB 设置为与场景规模相匹配，过大的值会减慢训练速度
• 如果重建质量看起来模糊，可以先调整 AABB，同时确保其为 2 的整数次幂
• 动画过程中避免调整相机焦距，标准 NeRF 方法不支持多焦距
• 避免使用极端焦距，实践中 30 mm 至 70 mm 的焦距效果较好
• 垂直传感器的相机有时会导致 NeRF 体积变形，应尽量避免

如何使用 NeRF

如果您有一块 NVIDIA GPU，为了获得最佳的使用体验，建议您按照 Instant NGP 仓库中的说明，在自己的设备上安装它。否则，您也可以通过 Google 账号，在 Google 的 COLAB 笔记本中免费使用 Google GPU 来运行 NeRF。

打开这个 COLAB 笔记本（也可在此 下载），并按照其中的指示操作即可。

备注

此插件是一个历时数月、伴随 Blender 不同版本开发的趣味性副项目，主要在 macOS 系统上进行。如果您在使用插件功能时遇到任何问题，请随时在 GitHub 上提交一个问题，并清晰地描述问题的具体情况、出现问题的 BlenderNeRF 版本，以及任何其他相关的信息。

现实世界数据

虽然此扩展主要用于创建合成数据集，但也有一些现成的工具可以导入来自真实世界相机的运动跟踪数据。例如，由 Shopify 开发的开源 iOS 应用程序及其配套的 Blender 插件 Tracky，能够记录 iPhone 上 ARKit 会话中的运动跟踪数据。不过需要注意的是，跟踪数据可能会出现漂移和不准确性，从而影响最终的 NeRF 重建质量。

引用

如果您在研究中觉得本仓库很有帮助，请考虑使用上方的专用 GitHub 按钮来引用 BlenderNeRF。如果您在艺术创作中使用了此扩展，也欢迎在社交媒体上使用 #blendernerf 标签分享您的作品！ :)

BlenderNeRF 快速上手指南

BlenderNeRF 是一款 Blender 插件，旨在帮助视觉特效艺术家、研究人员及图形学爱好者，一键生成用于训练 NeRF (神经辐射场) 和 Gaussian Splatting (高斯泼溅) 的合成数据集。它能在保留用户对 3D 场景和相机完全控制权的同时，自动输出渲染图像及对应的相机参数文件。

环境准备

在开始之前，请确保满足以下系统要求：

• 操作系统：Windows, macOS 或 Linux（插件主要在 macOS 上开发，但跨平台兼容）。
• 核心软件：Blender 4.0.0 或更高版本。
  • 注意：低于 4.0.0 的版本可能无法正常运行该插件。
• 硬件建议：
  • 若需本地训练 NeRF 模型，推荐配备 NVIDIA GPU 并安装 Instant NGP。
  • 若无高性能显卡，可使用 Google Colab 免费云端 GPU 进行后续模型训练。
• 前置依赖：无需额外安装 Python 库，插件内置所需逻辑。

安装步骤

BlenderNeRF 以插件形式分发，请按以下步骤安装：

1. 下载插件： 访问项目仓库，将代码库下载为 ZIP 文件（推荐直接下载主分支以获取最新修复，而非仅下载 Release 版本）。

   # 示例：通过 git 克隆（可选，或直接网页下载 ZIP）
   git clone https://github.com/maximeraafat/BlenderNeRF.git
   

2. 启动 Blender： 打开 Blender 4.0.0 或更新版本。

3. 安装插件：

   • 点击顶部菜单栏的 Edit (编辑) > Preferences (偏好设置)。
   • 在左侧选择 Add-ons (插件)。
   • 点击右上角的 Install... (安装...) 按钮（图标通常为向下箭头或文件夹）。
   • 在文件选择器中，找到并选中刚才下载的 ZIP 文件。

4. 启用插件： 安装后，在列表中找到 BlenderNeRF，勾选其名称左侧的复选框以激活插件。

基本使用

安装完成后，插件面板位于 3D 视图右侧。按下键盘上的 N 键展开侧边栏，点击 BlenderNeRF 标签页即可看到操作界面。

1. 通用配置

所有方法共享以下基础设置（位于 BlenderNeRF shared UI）：

• Train / Test: 默认勾选，分别表示生成训练数据（图像 + 相机参数）和测试数据（仅相机参数）。
• File Format: 默认为 NGP (兼容 Instant NGP)，也可选标准 NeRF 格式。
• Gaussian Points: 若需进行 Gaussian Splatting 训练，请勾选此项以生成 points3d.ply 文件。
• Save Path: 指定数据集输出的文件夹路径（留空则保存在默认位置）。

2. 选择数据采集方法

根据场景需求，选择以下三种模式之一：

模式 A: Subset of Frames (SOF) - 动画子集

适用于静态场景的长动画渲染。

• 原理：每隔 N 帧渲染一张图作为训练集，所有帧作为测试集。
• 操作：
  1. 确保场景中已设置好相机动画。
  2. 设置 Frame Step (默认 3，即每 3 帧取一帧)。
  3. 点击 PLAY SOF 按钮开始导出。

模式 B: Train and Test Cameras (TTC) - 双相机模式

适用于需要严格区分训练视角和测试视角的场景。

• 原理：使用两个独立的相机，一个负责采集训练数据，另一个负责采集测试数据。
• 操作：
  1. 在场景中创建或选择两个相机对象。
  2. 在 Train Cam 中选择训练用相机，在 Test Cam 中选择测试用相机。
  3. 设置 Frames (默认 100，即采集帧数)。
  4. 点击 PLAY TTC 按钮开始导出。

模式 C: Camera on Sphere (COS) - 球面采样

适用于围绕物体进行全方位扫描的场景。

• 原理：在用户定义的球面上随机采样相机视角指向中心。
• 操作：
  1. 调整 Location (球心), Radius (半径), 和 Frames (采样数量，默认 100)。
  2. (可选) 勾选 Sphere 预览采样球体，或勾选 Upper Views 仅采样上半球。
  3. 点击 PLAY COS 按钮。插件会自动创建 BlenderNeRF Camera 并执行渲染。
  • 注意：请勿手动创建名为 "BlenderNeRF Sphere" 或 "BlenderNeRF Camera" 的对象，以免冲突。

3. 获取结果

执行完毕后，插件会在指定的 Save Path 下生成一个 ZIP 压缩包。内容包括：

• transforms_train.json / transforms_test.json: 包含相机位姿和内参。
• 对应的渲染图像文件夹。
• (若开启) points3d.ply: 用于高斯泼溅初始化的点云文件。

4. 后续训练

生成的数据集可直接用于以下流程：

• 本地训练：配合 Instant NGP 使用。
• 云端训练：上传至 Google Colab Notebook 进行免费训练。

优化提示：为获得最佳重建效果，建议采集 50-150 张图片，保持相机焦距在 30mm-70mm 之间，并确保场景距离相机至少 1 个 Blender 单位。