ScanNet

ScanNet 是一个 RGB-D 视频数据集，包含超过 1500 次扫描中的 250 万帧图像，并标注了 3D 相机位姿、表面重建以及实例级语义分割。

ScanNet 数据

如果您希望下载 ScanNet 数据，请使用您的机构邮箱填写并签署 ScanNet 使用条款，然后将其发送至 scannet@googlegroups.com。

如果您在一周内未收到回复，很可能是您的邮件被退回——请在重复发送请求之前先检查这一点。请勿回复“noreply”邮件，因为该邮件不会被查看。

请查看 变更日志，以获取数据发布的最新信息。

数据组织

ScanNet 中的数据按 RGB-D 序列组织。每个序列存储在一个名为 scene<spaceId>_<scanId> 或 scene%04d_%02d 的目录下，其中每个空间对应一个唯一的地点（从 0 开始编号）。在扫描过程中捕获的原始数据、相机位姿、表面网格重建以及标注元数据都存储在同一序列的目录中。该目录的结构如下：

<scanId>
|-- <scanId>.sens
    RGB-D 传感器流，包含彩色帧、深度帧、相机位姿及其他数据
|-- <scanId>_vh_clean.ply
    高质量重建的网格
|-- <scanId>_vh_clean_2.ply
    清理并简化后的网格，用于语义标注
|-- <scanId>_vh_clean_2.0.010000.segs.json
    标注网格的过度分割
|-- <scanId>.aggregation.json, <scanId>_vh_clean.aggregation.json
    分别在低分辨率和高分辨率网格上聚合的实例级语义标注
|-- <scanId>_vh_clean_2.0.010000.segs.json, <scanId>_vh_clean.segs.json
    分别对应低分辨率和高分辨率网格的过度分割（由聚合的语义标注引用）
|-- <scanId>_vh_clean_2.labels.ply
    聚合语义分割的可视化；按 NYU40 标签着色（参见 img/legend；PLY 属性 'label' 表示 NYU40 标签 ID）
|-- <scanId>_2d-label.zip
    聚合标注标签的原始 2D 投影，以 16 位 PNG 格式保存，带有 ScanNet 标签 ID
|-- <scanId>_2d-instance.zip
    聚合标注实例的原始 2D 投影，以 8 位 PNG 格式保存
|-- <scanId>_2d-label-filt.zip
    过滤后的聚合标注标签 2D 投影，以 16 位 PNG 格式保存，带有 ScanNet 标签 ID
|-- <scanId>_2d-instance-filt.zip
    过滤后的聚合标注实例 2D 投影，以 8 位 PNG 格式保存

数据格式

以下是 ScanNet 中使用的数据格式概述：

重建表面网格文件 (*.ply)： 二进制 PLY 格式的网格，+Z 轴为竖直方向。

RGB-D 传感器流 (*.sens)： 压缩的二进制格式，每帧包含颜色、深度、相机位姿及其他数据。更多信息及解析代码请参阅 ScanNet C++ 工具包。SensReader/python 提供了一个非常基础的 Python 数据导出工具。

表面网格分割文件 (*.segs.json)：

{
  "params": {  // 分割参数
   "kThresh": "0.0001",
   "segMinVerts": "20",
   "minPoints": "750",
   "maxPoints": "30000",
   "thinThresh": "0.05",
   "flatThresh": "0.001",
   "minLength": "0.02",
   "maxLength": "1"
  },
  "sceneId": "...",  // 被分割场景的 ID
  "segIndices": [1,1,1,1,3,3,15,15,15,15],  // 网格每个顶点所属的分割区域索引
}

聚合语义标注文件 (*.aggregation.json)：

{
  "sceneId": "...",  // 被标注场景的 ID
  "appId": "...", // 用于创建标注的工具 ID 和版本
  "segGroups": [
    {
      "id": 0,
      "objectId": 0,
      "segments": [1,4,3],
      "label": "沙发"
    },
  ],
  "segmentsFile": "..." // 引用的 *.segs.json 分割文件 ID
}

BenchmarkScripts/util_3d.py 提供了从 *.segs.json、*.aggregation.json 和 *_vh_clean_2.ply 网格文件中解析语义实例信息的示例，并在 BenchmarkScripts/3d_helpers/visualize_labels_on_mesh.py 中展示了语义分割的可视化效果。

2D 标注投影文件 (*_2d-label.zip, *_2d-instance.zip, *_2d-label-filt.zip, *_2d-instance-filt.zip)： 根据计算出的相机轨迹，将扫描的 3D 聚合标注投影到其 RGB-D 帧中。

ScanNet C++ 工具包

用于处理 ScanNet 数据的工具。SensReader 可加载 ScanNet .sens 文件，提取压缩的 RGB-D 帧、相机内参和外参以及 IMU 数据。

相机参数估计代码

用于估计相机参数和深度去畸变的代码。这是计算传感器校准文件所必需的，这些文件会被管道服务器用来对深度进行去畸变。详细信息请参阅 CameraParameterEstimation。

网格分割代码

我们用于预处理网格并准备语义标注的网格超分割计算代码。有关构建和使用该代码的说明，请参阅 Segmentator 目录。

BundleFusion 重建代码

ScanNet 使用 BundleFusion 代码进行重建。请参考 BundleFusion 仓库：https://github.com/niessner/BundleFusion。如果您使用 BundleFusion，请引用原始论文：

@article{dai2017bundlefusion,
  title={BundleFusion: 实时全局一致的 3D 重建，采用即时表面重集成},
  author={戴安吉拉、尼瑟纳、佐勒费尔、伊扎迪、特奥巴尔特},
  journal={ACM 图形学汇刊 2017 (TOG)},
  year={2017}
}

ScanNet 扫描仪 iPad 应用程序

ScannerApp 旨在通过配备 Structure.io 传感器的 iPad 轻松捕获 RGB-D 序列。

ScanNet 扫描仪数据服务器

Server 包含接收来自运行 Scanner 应用程序的 iPad 的 RGB-D 序列的服务器代码。

ScanNet 数据管理 UI

WebUI 包含基于 Web 的数据管理界面，用于提供可用扫描数据的概览，并控制处理和标注流程。

ScanNet 语义标注工具

ScanNet 语义标注基于 Web 的接口的代码和文档作为 SSTK 库的一部分提供。有关概述，请参阅 https://github.com/smartscenes/sstk/wiki/Scan-Annotation-Pipeline。

基准任务

我们在 ScanNet 上提供了多个场景理解基准测试的代码：

• 3D 物体分类
• 3D 物体检索
• 语义体素标注

训练/测试划分可在 Tasks/Benchmark 中找到。标签映射和训练好的模型可随 ScanNet 数据发布一起下载。 详情请参阅 Tasks。

标签

ScanNet 任务数据发布中的标签映射文件（scannet-labels.combined.tsv）包含从 ScanNet 注释中提供的标签（id）到 NYUv2、ModelNet、ShapeNet 以及 WordNet 同义词集的对象类别集合的映射。可随任务数据一起下载（--task_data），也可单独下载（--label_map）。

引用

如果您使用了 ScanNet 数据或代码，请引用以下文献：

@inproceedings{dai2017scannet,
    title={ScanNet: Richly-annotated 3D Reconstructions of Indoor Scenes},
    author={Dai, Angela and Chang, Angel X. and Savva, Manolis and Halber, Maciej and Funkhouser, Thomas and Nie{\ss}ner, Matthias},
    booktitle = {Proc. Computer Vision and Pattern Recognition (CVPR), IEEE},
    year = {2017}
}

帮助

如有任何问题，请通过 scannet@googlegroups.com 联系我们。

更改记录

许可证

数据根据 ScanNet 使用条款 发布，代码则采用 MIT 许可证授权。

版权所有 © 2017

ScanNet 快速上手指南

ScanNet 是一个包含超过 1500 个扫描场景、250 万帧视图的 RGB-D 视频数据集，标注了 3D 相机姿态、表面重建网格以及实例级语义分割。本指南将帮助您快速获取数据并解析核心文件。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 16.04+) 或 macOS。Windows 用户建议使用 WSL2。
• 编程语言:
  • Python 3.x (用于数据解析和基准测试脚本)
  • C++ 11+ (用于编译 SensReader 等底层工具)
• 核心依赖库:
  • numpy, scipy
  • Pillow (处理图像投影)
  • open3d 或 trimesh (用于可视化 .ply 网格文件)
  • zlib (C++ 编译依赖，用于解压 .sens 数据)
• 硬件建议: 由于数据集庞大（单个场景可达数 GB），建议预留至少 500GB 硬盘空间，并配备 NVIDIA GPU 以运行相关的深度学习基准任务。

安装步骤

ScanNet 的数据访问需要签署协议，代码库则直接克隆即可。

1. 获取数据访问权限

ScanNet 数据不直接公开下载，需按以下步骤申请：

1. 下载并签署 ScanNet 使用条款。
2. 使用机构邮箱（如 .edu 或公司邮箱）将签署后的文件发送至 scannet@googlegroups.com。
3. 等待回复（通常在一周内），您将收到包含数据下载链接的邮件。
   • 注意：请勿回复 noreply 邮件，若一周未收到回复，请检查垃圾邮件箱或确认邮箱是否被退回。

2. 克隆代码仓库

获取官方提供的数据处理工具和基准测试代码：

git clone https://github.com/ScanNet/ScanNet.git
cd ScanNet

3. 安装 Python 依赖

进入目录并安装必要的 Python 包：

pip install numpy scipy Pillow open3d trimesh

4. 编译 C++ 工具 (可选但推荐)

为了高效读取压缩的 .sens 原始数据流，建议编译官方提供的 SensReader 工具：

cd SensReader/c++
mkdir build && cd build
cmake ..
make

编译完成后，可在 SensReader/c++/build 目录下找到可执行文件用于导出帧数据。

基本使用

以下是加载和解析 ScanNet 数据的核心流程示例。

1. 数据目录结构

下载并解压数据后，每个场景文件夹（如 scene0000_00）包含以下关键文件：

• .sens: 原始 RGB-D 传感器数据流（颜色、深度、位姿）。
• _vh_clean_2.ply: 清洗后的高精度三维网格模型。
• .aggregation.json: 实例级语义标注信息。
• .segs.json: 网格的超像素分割索引。

2. 解析语义标注与网格 (Python)

官方提供了实用脚本用于将语义标签映射到 3D 网格顶点。您可以直接使用 BenchmarkScripts/util_3d.py 中的逻辑。

以下是一个简单的加载示例，展示如何读取网格和对应的 NYU40 语义标签：

import os
import numpy as np
import open3d as o3d

# 假设数据路径
scene_path = "data/scans/scene0000_00"
mesh_file = os.path.join(scene_path, "scene0000_00_vh_clean_2.labels.ply")

# 1. 加载带有标签信息的 PLY 文件
# label 属性存储了 NYU40 的分类 ID
mesh = o3d.io.read_triangle_mesh(mesh_file)
labels = np.asarray(mesh.vertex_colors) # 颜色通常已根据标签渲染，或直接读取 vertex_properties

# 如果读取原始无颜色 mesh 并关联标签：
mesh_clean = o3d.io.read_triangle_mesh(os.path.join(scene_path, "scene0000_00_vh_clean_2.ply"))
# 需配合 util_3d.py 解析 aggregation.json 和 segs.json 来生成顶点标签数组
# 此处仅为示意，具体映射逻辑请参考 BenchmarkScripts/util_3d.py 中的 read_aggregation 和 read_segmentation

print(f"Mesh vertices: {len(mesh.vertices)}")
print("Data loaded successfully.")

# 2. 可视化
o3d.visualization.draw_geometries([mesh])

3. 读取原始 RGB-D 序列 (.sens)

若需获取原始图像帧和深度图，推荐使用编译好的 SensReader 或官方提供的简易 Python 导出器：

# 使用编译好的 C++ 工具导出特定场景的帧
./SensReader/c++/build/SensReader --filename data/scans/scene0000_00/scene0000_00.sens --output_path output_frames/

或者使用仓库中提供的简易 Python 脚本（位于 SensReader/python）：

cd SensReader/python
python reader.py --filename ../../data/scans/scene0000_00/scene0000_00.sens --export_color_images --export_depth_images --export_poses --export_intrinsics

4. 使用基准测试标签映射

进行模型训练时，需使用 scannet-labels.combined.tsv 文件将 ScanNet 内部 ID 映射到 NYUv2、ModelNet 等标准类别集。该文件通常随任务数据包（Task Data）一同下载。

import pandas as pd

# 加载标签映射表
label_map = pd.read_csv('scannet-labels.combined.tsv', sep='\t')
print(label_map.head())

---

注：更多高级功能（如相机参数估计、网格分割预处理）请参考仓库中 CameraParameterEstimation 和 Segmentator 目录下的源码文档。