重要提示：该项目已停止维护，Unity 不再提供支持。请使用 GitHub 问题页面寻求社区帮助。

加入我们的邮件列表！ 注册以获取我们最新功能发布、社区活动、博客文章等信息！

Perception 包提供了一套工具集，用于生成大规模的合成数据集，以供计算机视觉模型的训练和验证使用。

开始使用 Perception 包

🌟 Perception 合成数据教程 🌟
非常适合初次接触 Unity、Perception 包或合成数据的用户。本教程详细介绍了所有关键步骤：安装 Unity 编辑器、创建第一个合成数据生成项目、添加领域随机化、可视化以及分析生成的数据集。无需任何先验经验。

快速入门指南
介绍如何将 Perception 包添加到现有项目中。建议已经熟悉 Unity 和 Perception 包的用户使用。如果您是第一次探索我们的工具集，强烈建议您先简要阅读下方的 Perception 合成数据教程！

人体姿态标注与随机化教程
逐步指导如何使用 Perception 包中包含的关键点、姿态和动画随机化工具。我们建议您在开始本指南之前，先完成上述 Perception 教程！

使用 Pysolotools 分析数据集
介绍 Unity 的 pysolotools——一个用于解析、转换和分析 SOLO 数据集的 Python 库。本教程将逐步说明如何解析 SOLO 数据集，并在 Jupyter Notebook 中查看数据集统计信息。

使用 Voxel51 查看器可视化数据集
我们将演示如何结合 Voxel51 和我们的 自定义 SOLO 导入器，来可视化数据集。

转换为 COCO 格式
我们将使用 pysolotools 将 SOLO 数据集转换为 COCO 格式。

常见问题解答

请查看我们的 常见问题解答，其中包含了常见问题、技巧、窍门以及常见代码模式的示例代码。

参考文档

关于包中特定组件的深入文档。如需完整的功能文档，请参阅 功能 页面。

功能	描述
标注	一个可以为 GameObject 及其子对象打上标签的组件
标签配置	定义用于生成真实标签的标签分类体系的资源
Perception 摄像头	从 摄像机捕获 RGB 图像和真实标签。
数据集采集	确保传感器以适当的速度触发，并接收 JSON 数据集的数据。
累积 / 光线追踪	累积功能可用于需要帧累积的渲染技术，例如光线追踪。
随机化	随机化工具集允许您将领域随机化的原则集成到您的模拟场景中。
输出端点和数据集架构	输出端点负责将生成的数据传递给用户。目前支持的输出端点包括：Solo 端点（默认）、Perception 端点和无输出。

数据集和示例项目

合成家居

请前往 Synthetic Homes 仓库，获取包含标注的合成家居室内场景的 10 万张图像数据集，用于训练计算机视觉模型；同时，该仓库还提供一个可配置的基于 Unity 的独立应用程序，用于生成此类数据集。

合成人类

Synthetic Humans 包使您能够在 Unity 计算机视觉项目中以程序化方式生成并逼真地放置多样化的合成人类群体。

无他人人群

PeopleSansPeople 是一款以人为本、注重隐私保护的合成数据生成器，具备高度参数化的领域随机化功能。该数据集生成器包含可用于仿真的 3D 人体资产、参数化光照与相机系统，并能生成 2D 和 3D 边界框、实例分割、语义分割以及 COCO 姿态标签。

SynthDet

SynthDet 是一种使用合成数据训练 2D 物体检测模型的端到端解决方案。

机器人物体位姿估计演示

机器人物体位姿估计 项目展示了在 Unity 中利用机械臂进行抓取与放置的操作。该项目包括将 ROS 与 Unity 集成、导入 URDF 模型、使用 Perception 包收集带标注的训练数据，以及训练和部署深度学习模型。

社区与支持

本项目已停止维护，不再由 Unity 提供支持。如需社区支持，请访问 GitHub 问题页面。

许可与引用

Perception 包采用 Apache License Version 2.0 许可协议。如果您认为本包有用，请考虑使用以下格式引用：

@misc{unity-perception2022,
    title={Unity {P}erception Package},
    author={{Unity Technologies}},
    howpublished={\url{https://github.com/Unity-Technologies/com.unity.perception}},
    year={2020}
}

Unity Perception 快速上手指南

⚠️ 重要提示：该项目已由 Unity 官方停止维护，不再提供官方支持。如需帮助，请通过 GitHub Issues 页面寻求社区支持。本文档仅作为历史版本参考。

Unity Perception 是一个用于生成大规模合成数据集的工具包，专为计算机视觉模型的训练和验证设计。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• Unity 编辑器版本：
  • Unity 2021.3 (LTS)
  • Unity 2022.1 或更高版本
• 操作系统：Windows, macOS 或 Linux
• 前置依赖：
  • 熟悉 Unity 编辑器基本操作
  • （可选）Python 环境：用于后续使用 pysolotools 分析生成的数据集
  • （可选）Jupyter Notebook：用于数据可视化与分析

2. 安装步骤

您可以通过 Unity 的包管理器将 Perception 包添加到现有项目中。

方法一：通过包管理器界面安装（推荐）

1. 打开 Unity 项目。
2. 点击顶部菜单栏的 Window > Package Manager。
3. 点击左上角的 + 号按钮，选择 Add package by name...。
4. 在弹出的对话框中输入包名称：

   com.unity.perception
   

5. 点击 Add 按钮等待安装完成。

方法二：通过 manifest.json 安装

1. 找到项目根目录下的 Packages/manifest.json 文件。
2. 在 dependencies 块中添加以下行：

   "com.unity.perception": "latest"
   

   (注：如需指定特定版本，可将 "latest" 替换为具体版本号)
3. 保存文件，Unity 将自动下载并安装该包。

3. 基本使用

以下是最简单的数据生成流程示例，涵盖从场景设置到数据捕获的核心步骤。

步骤 1: 配置标签 (Labeling)

Perception 需要知道场景中哪些物体需要被标记。

1. 在Hierarchy中选中需要标记的 GameObject（例如一个立方体）。
2. 点击 Add Component，搜索并添加 Labeling 组件。
3. 在 Inspector 面板中，点击 Add New Label，输入标签名称（例如 "Box"）。
   • 注意：您也可以创建 Label Config 资产来统一管理标签分类体系。

步骤 2: 设置感知相机 (Perception Camera)

标准的 Unity Camera 无法直接输出标注数据，需替换为 Perception Camera。

1. 选中场景中的主相机 (Main Camera)。
2. 点击 Add Component，搜索并添加 Perception Camera 组件。
3. 该组件会自动关联当前的 Camera 组件，并开始准备捕获 RGB 图像及对应的真值数据（Ground Truth）。

步骤 3: 配置数据集捕获 (Dataset Capture)

控制数据生成的频率和输出格式。

1. 在场景中创建一个空 GameObject，命名为 DatasetCapture。
2. 添加 Dataset Capture 组件。
3. 在该组件的设置中：
   • Simulation Frames: 设置要生成的帧数（例如 100）。
   • Frames Between Captures: 设置每隔多少帧捕获一次数据（例如 1 表示每帧都捕获）。
   • Output Endpoints: 默认使用 Solo endpoint，这将生成 SOLO 格式的数据集（包含 JSON 标注和图像文件夹）。

步骤 4: 运行并生成数据

1. 点击 Unity 编辑器顶部的 Play 按钮。
2. 相机将根据设定自动捕获图像和标注信息。
3. 运行结束后，生成的数据集通常位于项目目录下的 PerceptionOutputs 文件夹中。
   • 结构示例：

     PerceptionOutputs/
     ├── <dataset_name>/
     │   ├── images/       # 生成的 RGB 图像
     │   ├── labels.json   # 对应的标注文件
     │   └── ...
     

后续处理（可选）

生成数据后，您可以使用 Unity 提供的 Python 工具库 pysolotools 进行解析或格式转换（如转换为 COCO 格式）：

pip install pysolotools

然后在 Python 脚本或 Jupyter Notebook 中加载数据：

import pysolotools

# 加载数据集
dataset = pysolotools.load_dataset('path/to/PerceptionOutputs/<dataset_name>')

# 查看基本信息
print(dataset.summary())

---

更多高级功能（如域随机化 Domain Randomization、人体姿态生成等），请参考官方文档中的详细教程。