Replica 数据集

Replica 数据集 (Replica Dataset) 是一个包含多种室内空间高质量重建的数据集。每个重建都拥有干净的稠密几何结构、高分辨率和高动态范围 (HDR) 纹理、玻璃和镜面表面信息、平面分割 (Planar Segmentation) 以及语义类别和实例分割 (Semantic Class and Instance Segmentation)。更多详情请参见 技术报告。

本仓库中包含的 Replica SDK（软件开发工具包）允许通过 ReplicaViewer 对数据集进行视觉检查，并通过 ReplicaRenderer 提供了如何无头模式 (Headless) 渲染场景图像的示例。

出于机器学习 (Machine Learning) 目的，每个数据集还包含导出到 AI Habitat 所使用的格式，因此可以无缝地在该框架中用于 AI 代理 (AI Agent) 训练和其他机器学习 (ML) 任务。

引用 Replica 数据集

如果您在研究中直接使用或间接通过衍生数据集或框架使用 Replica 数据集，请引用以下 技术报告：

@article{replica19arxiv,
  title =   {The {R}eplica Dataset: A Digital Replica of Indoor Spaces},
  author =  {Julian Straub and Thomas Whelan and Lingni Ma and Yufan Chen and Erik Wijmans and Simon Green and Jakob J. Engel and Raul Mur-Artal and Carl Ren and Shobhit Verma and Anton Clarkson and Mingfei Yan and Brian Budge and Yajie Yan and Xiaqing Pan and June Yon and Yuyang Zou and Kimberly Leon and Nigel Carter and Jesus Briales and  Tyler Gillingham and  Elias Mueggler and Luis Pesqueira and Manolis Savva and Dhruv Batra and Hauke M. Strasdat and Renzo De Nardi and Michael Goesele and Steven Lovegrove and Richard Newcombe },
  journal = {arXiv preprint arXiv:1906.05797},
  year =    {2019}
}

Replica 数据集

以下 18 个场景包含在此次初始发布中：

每个 Replica 包含以下资源：

├── glass.sur
├── habitat
    ├── mesh_semantic.ply 
    ├── mesh_semantic.navmesh
    ├── info_semantic.json
    ├── mesh_preseg_semantic.ply 
    ├── mesh_preseg_semantic.navmesh
    ├── info_preseg_semantic.json
    ├── replica_stage.stage_config.json
    └── sorted_faces.bin 
├── mesh.ply
├── preseg.bin
├── preseg.json
├── semantic.bin
├── semantic.json
└── textures
    ├── 0-color-ptex.hdr
    ├── 0-color-ptex.w
    ├── 1-color-ptex.hdr
    ├── 1-color-ptex.w
    ├── ...
    └── parameters.json

不同文件包含以下内容：

• glass.sur: 玻璃和镜面表面的参数化。
• mesh.ply: 带有顶点颜色的场景四边形网格。
• preseg.json 和 preseg.bin: 场景中平面和非平面的预分割 (Presegmentation)。
• semantic.json 和 semantic.bin: 场景的语义分割 (Semantic Segmentation)。
• textures: 场景的高分辨率和高动态范围 (HDR) 纹理。
• habitat/mesh*semantic.ply: 包含语义或预分割 (Presegmentation) 信息的四边形网格，适用于 AI Habitat。
• habitat/info*semantic.json: 将相应 mesh_*.ply 中的实例 ID 映射到语义名称。
• habitat/mesh*semantic.navmesh: AI Habitat 的导航网格 (Navmesh)。
• habitat/replica_stage.stage_config.json: 定义 habitat-sim 场景级别参数的配置文件。
• habitat/sorted_faces.bin: 包含 habitat-sim Ptex 渲染支持预处理几何数据的二进制文件。

在 Mac OS 和 Linux 上下载

确保已安装 pigz、wget 和 unzip：

# on Mac OS
brew install wget pigz unzip
# on Ubuntu
sudo apt-get install wget pigz unzip

要下载并解压数据集，请使用 download.sh 脚本：

./download.sh /path/to/replica_v1

在 Windows 上下载

执行 win_download.bat 以下载 Replica。

Replica SDK

设置

在安装 Pangolin 的依赖项后，可以通过构建脚本编译 Replica SDK（软件开发工具包）：

git submodule update --init
./build.sh

它需要安装 Pangolin 和 Eigen 的依赖项。如果您希望使用无头模式 (Headless) 渲染器，请确保您已安装 libegl1-mesa-dev 包。

ReplicaViewer

ReplicaViewer 是一个用于探索 Replica 数据集的交互式用户界面 (UI)。

./build/bin/ReplicaViewer mesh.ply /path/to/atlases [mirrorFile]

来自高动态范围 (HDR) 纹理的渲染曝光值可以在左上角进行调整。

ReplicaRenderer

ReplicaRenderer 展示了如何为程序定义的轨迹从 Replica 中渲染图像，无需用户界面 (UI)。此可执行文件可以在服务器上无头模式 (Headless) 运行。

./build/bin/ReplicaRenderer mesh.ply textures glass.sur

Replica 与 AI Habitat

要在 AI Habitat 中使用 Replica，请查看 https://github.com/facebookresearch/habitat-sim 处的 AI Habitat Sim。构建项目后，您可以启动测试查看器以验证一切是否正常：

./build/viewer --dataset /PATH/TO/REPLICA/replica.scene_dataset_config.json -- frl_apartment_0

团队

Julian Straub, Thomas Whelan, Lingni Ma, Yufan Chen, Erik Wijmans, Simon Green, Jakob J. Engel, Raul Mur-Artal, Carl Ren, Shobhit Verma, Anton Clarkson, Mingfei Yan, Brian Budge, Yajie Yan, Xiaqing Pan, June Yon, Yuyang Zou, Kimberly Leon, Nigel Carter, Jesus Briales, Tyler Gillingham Elias Mueggler, Luis Pesqueira, Manolis Savva, Dhruv Batra, Hauke M. Strasdat, Renzo De Nardi, Michael Goesele, Steven Lovegrove, and Richard Newcombe.

联系方式

Julian.Straub@oculus.com

致谢

Replica 数据集的实现离不开 Matthew Banks, Christopher Dotson, Rashad Barber, Justin Blosch, Ethan Henderson, Kelley Greene, Michael Thot, Matthew Winterscheid, Robert Johnston, Abhijit Kulkarni, Robert Meeker, Jamie Palacios, Tony Phan, Tim Petrvalsky, Sayed Farhad Sadat, Manuel Santana, Suruj Singh, Swati Agrawal, 和 Hannah Woolums 的辛勤工作和贡献。

许可证

有关详细信息，请参阅 LICENSE 文件。

Replica Dataset 快速上手指南

Replica Dataset 是一个高质量室内空间重建数据集，提供干净的稠密几何、高分辨率 HDR 纹理、玻璃/镜面信息以及语义分割数据。该工具集支持通过 ReplicaViewer 进行可视化检查，通过 ReplicaRenderer 进行无头渲染，并可直接用于 AI Habitat 框架进行智能体训练。

---

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Mac OS, Linux (Ubuntu), Windows
• 下载工具: wget, pigz, unzip
• 编译依赖:
  • Pangolin
  • Eigen
  • (可选) libegl1-mesa-dev：若需使用无头模式渲染器 (ReplicaRenderer)，请确保安装此包。

---

安装步骤

1. 下载数据集

根据操作系统选择对应的下载方式：

Mac OS 和 Linux 首先安装必要的下载工具：

# Mac OS
brew install wget pigz unzip
# Ubuntu
sudo apt-get install wget pigz unzip

然后运行脚本下载并解压数据集（请将路径替换为实际目标目录）：

./download.sh /path/to/replica_v1

Windows 直接执行提供的批处理文件：

win_download.bat

2. 编译 SDK

进入项目根目录，初始化子模块并编译：

git submodule update --init
./build.sh

---

基本使用

1. 交互式可视化 (ReplicaViewer)

用于探索数据集场景的交互界面。

./build/bin/ReplicaViewer mesh.ply /path/to/atlases [mirrorFile]

注：可在左上角调整 HDR 纹理的曝光值。

2. 程序化渲染 (ReplicaRenderer)

无需 UI 即可从场景中渲染图像，支持在无头服务器（Headless Server）上运行。

./build/bin/ReplicaRenderer mesh.ply textures glass.sur

3. 集成 AI Habitat

如需在 AI Habitat 中使用，请克隆 habitat-sim。构建完成后，可通过以下命令验证场景配置：

./build/viewer --dataset /PATH/TO/REPLICA/replica.scene_dataset_config.json -- frl_apartment_0

---

引用说明：若在研究中使用本数据集，请引用技术报告：

@article{replica19arxiv,
  title =   {The {R}eplica Dataset: A Digital Replica of Indoor Spaces},
  author =  {Julian Straub et al.},
  journal = {arXiv preprint arXiv:1906.05797},
  year =    {2019}
}