vision_blender

一个基于 Blender 的用户界面，用于为计算机视觉应用生成合成的真值数据（基准测试）。

VisionBlender 是一款合成计算机视觉数据集生成器，它为 Blender 添加了一个用户界面，使用户能够生成带有深度、视差、分割掩码、表面法线、光流、物体位姿和相机参数等真值地图的单目/立体视频序列。

YouTube 链接

安装

要安装此插件，只需前往 编辑 > 首选项 > 插件选项卡 > 安装插件，然后选择文件 path/to/vision_blender/addon_ground_truth_generation.py 并点击 安装插件。最后，您需要启用该插件；搜索 VisionBlender 并勾选复选框。

现在您应该能够在 输出属性 的底部找到 VisionBlender UI。

如何生成真值数据？

1. 选择渲染引擎

如果您希望获取真值 分割掩码 或 光流，则首先需要将 Blender 设置为使用 Cycles 渲染引擎。否则，请使用默认设置的 Eevee（速度更快！）。

如何设置分割掩码？

要设置分割掩码，您需要为每个对象选择非零的通道索引（!= 0）： 对象属性 > 关系 > 通道索引

每个整数（例如，通道索引 = 1）代表一个待分割的对象类别。

如何设置光流？

只有当摄像机或物体在动画过程中移动时，才会产生光流。在下面的动图中，我向您展示如何在帧之间移动一个对象：

2. 设置输出路径

在 输出属性 > 输出 > 输出路径 中设置输出路径。这是保存渲染图像和真值数据的路径。

3. 选择真值地图并渲染

首先，在 VisionBlender UI 中勾选您希望保存为真值的地图选项。然后开始渲染。您可以点击 渲染 > 渲染图像 或 渲染 > 渲染动画... 来开始渲染，或者分别按 F12 键进行图像渲染，按 Ctrl F12 键进行动画渲染。

注意：真值地图始终以米 [m] 作为距离单位进行计算。

生成数据后如何读取？

您只需从 .npz 文件中加载 NumPy 数组即可。 请访问 vision_blender/samples，查看其中的示例！

论文

这项工作在 MICCAI 2020 的一个研讨会上获得了最佳论文奖！

论文可在 此链接 找到。

如果您使用此工具，请考虑引用我们的论文：

@article{cartucho2020visionblender,
  title={VisionBlender: 一种高效生成机器人手术用计算机视觉数据集的工具},
  author={Cartucho, Jo{\~a}o and Tukra, Samyakh and Li, Yunpeng and S. Elson, Daniel and Giannarou, Stamatia},
  journal={生物力学与生物医学工程中的计算机方法：成像与可视化},
  pages={1--8},
  year={2020},
  publisher={Taylor \& Francis}
}

VisionBlender 快速上手指南

VisionBlender 是一个为 Blender 添加用户界面的插件，旨在生成用于计算机视觉应用的合成真值（Ground Truth）数据集。它支持生成单目/立体视频序列，并输出深度、视差、分割掩码、表面法线、光流、物体姿态及相机参数等真值地图。

环境准备

• 操作系统：Windows, macOS, 或 Linux
• 核心软件：Blender (建议使用最新稳定版)
• 依赖库：
  • Python (Blender 内置)
  • NumPy (通常 Blender 已预装，若报错需手动安装到 Blender 的 Python 环境中)
• 渲染引擎：
  • Eevee：默认引擎，速度快，适用于深度、法线等基础数据。
  • Cycles：若需生成 分割掩码 (Segmentation masks) 或 光流 (Optical flow)，必须切换至此引擎。

安装步骤

1. 下载 vision_blender 源码包。
2. 打开 Blender，进入菜单栏：Edit > Preferences。
3. 在左侧选择 Add-ons 标签页，点击顶部的 Install... 按钮。
4. 浏览并选中下载包中的以下文件：

   path/to/vision_blender/addon_ground_truth_generation.py
   

5. 点击 Install Add-on。
6. 在插件列表中搜索 VisionBlender，勾选复选框以启用插件。
7. 启用后，可在右侧属性面板底部的 Output Properties (输出属性) 中找到 VisionBlender UI 面板。

基本使用

1. 配置渲染引擎与对象属性

根据所需生成的数据类型进行设置：

• 通用设置：若只需深度或法线图，保持默认的 Eevee 引擎即可。
• 分割掩码 (Segmentation Masks)：
  1. 将渲染引擎切换为 Cycles。
  2. 选中场景中的物体，进入 Object Properties (物体属性) > Relations。
  3. 设置 Pass Index 为非零整数 (例如 1)。每个整数代表一个分割类别。
• 光流 (Optical Flow)：
  1. 将渲染引擎切换为 Cycles。
  2. 确保相机或物体在动画帧之间存在移动（需设置关键帧动画）。

2. 设置输出路径

在 Output Properties (输出属性) > Output 中，设置 Output Path。渲染图像和真值数据 (.npz 文件) 都将保存到此目录。

3. 选择真值类型并渲染

1. 在底部 VisionBlender UI 面板中，勾选你需要生成的真值地图（如 Depth, Segmentation, Optical Flow 等）。
   • 注意：所有距离单位的真值地图均以米 [m] 为单位计算。
2. 开始渲染：
   • 渲染单帧图像：点击 Render > Render Image 或按快捷键 F12。
   • 渲染动画序列：点击 Render > Render Animation... 或按快捷键 Ctrl + F12。

4. 读取生成的数据

渲染完成后，输出目录下将包含图像文件和 .npz 格式的真值数据文件。使用 Python 加载数据示例：

import numpy as np

# 加载 .npz 文件
data = np.load('path/to/your/output/frame_0001.npz')

# 查看包含的数组名称
print(data.files)

# 访问具体数据，例如深度图
depth_map = data['depth']

更多详细示例请参考官方仓库中的 samples 目录。