NVIDIA 深度学习数据集合成器（NDDS）

概述

NDDS 是 NVIDIA 提供的一款 UE4 插件，旨在帮助计算机视觉研究人员导出高质量的带元数据的合成图像。NDDS 支持图像、语义分割、深度图、物体位姿、边界框、关键点以及自定义模板等标注信息。除了图像导出功能外，该插件还包含多种组件，用于生成高度随机化的场景。这些随机化选项包括光照、物体、相机位置、姿态、纹理、干扰物等，同时还支持相机路径跟随等功能。通过这些组件的组合使用，研究人员可以轻松创建用于训练深度神经网络的随机化场景。

使用 NDDS 生成的一张示例图像，附带真值分割、深度和物体位姿标注。
如需辅助工具来可视化与合成图像关联的标注数据，请参阅 NVIDIA 数据集工具包（NVDU）：https://github.com/NVIDIA/Dataset_Utilities。

下载

本仓库使用 gitLFS -- 请勿以 .ZIP 格式下载：

首先安装 git LFS（大文件存储）： https://git-lfs.github.com/ ，然后使用 lfs clone 克隆仓库。

更多详细信息请参阅：https://github.com/NVIDIA/Dataset_Synthesizer/blob/master/Documentation/NDDS.pdf

发布说明：4.22 已知问题

如果您在使用材质随机化功能时，场景中存在超过 10 个每帧都会更换材质的物体，在停止编辑器内的播放会话时，可能会出现程序卡死的情况。尽管捕捉过程仍能正常运行，但 uniform buffer memory 会持续增加；当用户停止捕捉会话时，UE 需要较长时间才能释放这部分内存。如果停止编辑器播放后等待时间过长，建议直接关闭并重新启动编辑器。另一种解决方法是继续使用 UE4.21 版本，此时需要搭配 NDDS v1.1 使用。

该问题仅出现在 UE4 4.22 版本中，因为该版本为了提升大量网格渲染的性能，会自动启用网格实例化技术。每当创建新网格或更改其材质时，uniform buffer memory 的分配量就会增加。

此问题同时影响 DirectX 和 OpenGL 用户。虽然 Vulkan 不受此问题影响，但 Vulkan 平台无法捕获深度图和类别分割信息。

动机

由于需要人工标注数据，深度学习系统的训练和测试是一项成本高昂且复杂的工作。当任务要求专业知识或非直观的标注（例如 3D 边界框顶点）时，这一问题尤为突出。为克服这些限制，我们一直在探索利用模拟器生成标注数据的方法。我们在文献 [1,2] 中证明，高度随机化的合成数据可用于训练面向真实世界应用的计算机视觉系统，从而实现成功的领域迁移。

引用

如果您在研究项目中使用本工具，请按以下方式引用：

@misc{to2018ndds,
author = {Thang To and Jonathan Tremblay and Duncan McKay and Yukie Yamaguchi and Kirby Leung and Adrian Balanon and Jia Cheng and William Hodge and Stan Birchfield},
note= {\url{ https://github.com/NVIDIA/Dataset_Synthesizer }},
title = {{NDDS}: {NVIDIA} Deep Learning Dataset Synthesizer},
Year = 2018
}

参考文献

[1] J. Tremblay, T. To, A. Molchanov, S. Tyree, J. Kautz, S. Birchfield. 基于合成数据训练的神经网络：从真实世界演示中学习人类可读计划。载于国际机器人与自动化会议（ICRA），2018 年。

[2] J. Tremblay, T. To, S. Birchfield. 下落物体：用于 3D 物体检测与位姿估计的合成数据集。载于 CVPR 机器人视觉中深度学习的真实世界挑战与新基准研讨会，2018 年。

Dataset_Synthesizer (NDDS) 快速上手指南

NVIDIA Deep Learning Dataset Synthesizer (NDDS) 是一款基于 Unreal Engine 4 (UE4) 的插件，旨在帮助计算机视觉研究人员导出带有高质量元数据（如分割、深度、物体姿态、边界框等）的合成图像。通过高度随机化的场景生成（光照、纹理、相机路径等），该工具可有效解决深度学习训练中标注数据稀缺的问题。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Windows 或 Linux（推荐 Windows 以获得最佳 UE4 支持）。
• Unreal Engine：
  • 推荐使用 UE4.21 搭配 NDDS v1.1（稳定性最佳，无已知内存泄漏问题）。
  • 若使用 UE4.22，需注意已知问题：当对超过 10 个每帧更换材质的对象进行材质随机化时，停止编辑器会话可能导致长时间挂起（需重启编辑器）。此外，Vulkan 模式下无法捕获深度和类别分割信息。
• 版本控制：必须安装 Git 及 Git LFS (Large File Storage)。
  • Git LFS 下载地址：https://git-lfs.github.com/
  • 国内加速建议：若访问 GitHub 缓慢，可配置 Git 代理或使用国内镜像源克隆仓库（如有）。

安装步骤

由于项目包含大型二进制文件，严禁直接下载 ZIP 包，必须使用 git lfs clone 命令。

1. 安装 Git LFS 下载并运行安装程序，或在终端执行：

   git lfs install
   

2. 克隆仓库 使用以下命令克隆项目（确保网络通畅，必要时配置代理）：

   git lfs clone https://github.com/NVIDIA/Dataset_Synthesizer.git
   

3. 集成到 UE4 项目

   • 打开您的 UE4 项目文件夹。
   • 将克隆下来的 Plugins 目录（或 NDDS 插件文件夹）复制到您的 UE4 项目根目录下的 Plugins 文件夹中（若不存在则新建）。
   • 重新启动 Unreal Editor，在 Edit -> Plugins 中搜索 "NDDS" 并启用它。

注意：详细的技术文档请参阅项目内的 Documentation/NDDS.pdf。

基本使用

以下是最简单的使用流程，用于生成带标注的合成数据：

1. 构建示例场景

   • 在 UE4 编辑器中打开一个包含静态网格体（Static Meshes）的场景。
   • 确保场景中有光源和至少一个摄像机（Camera Actor）。

2. 配置 NDDS 组件

   • 选中场景中的物体，添加 NDDSObjectComponent 以定义物体元数据（如类别、实例 ID）。
   • 选中摄像机，添加 NDDSCameraComponent。
   • 在 NDDSCameraComponent 的细节面板中，勾选需要导出的数据类型（例如：Export Segmentation, Export Depth, Export Bounding Box 等）。

3. 设置随机化（可选）

   • 利用 NDDS 提供的随机化组件（Randomizers）对光照、物体位置、纹理或添加干扰物进行配置，以生成多样化的训练数据。

4. 执行捕获

   • 点击编辑器上方的 Play (播放) 按钮。
   • NDDS 会自动按照配置的频率捕获图像及对应的元数据文件（JSON 格式）。
   • 默认输出路径通常在项目的 Saved 目录下，具体可在相机组件中配置。

5. 查看结果

   • 生成的图像与标注文件可用于直接训练深度学习模型。
   • 如需可视化标注数据（如将 JSON 解析为掩码图），请参考 NVIDIA 官方配套工具：Dataset_Utilities (NVDU)。