VoxFormer：基于相机的3D语义场景补全的稀疏体素Transformer, CVPR 2023.

Yiming Li, Zhiding Yu, Chris Choy, Chaowei Xiao, Jose M. Alvarez, Sanja Fidler, Chen Feng, Anima Anandkumar

[PDF] [项目] [介绍视频]

最新动态

• [2023/07]：我们发布了带有3D可变形注意力模块的VoxFormer代码，实现了更好的性能。
• [2023/06]：🔥 我们发布了 SSCBench，这是一个从KITTI-360、nuScenes和Waymo衍生的大规模语义场景补全基准。
• [2023/06]：欢迎参加我们6月21日的CVPR海报展示（WED-AM-082），并查看我们的在线视频。
• [2023/03]：🔥 VoxFormer被CVPR 2023接收为亮点论文（235/9155，2.5%接收率）。
• [2023/02]：我们的论文已在arxiv上发表。
• [2022/11]：VoxFormer在SemanticKITTI 3D SSC（语义场景补全）任务上实现了最先进水平，纯相机方法达到13.35% mIoU和44.15% IoU！
  

摘要

人类可以轻松想象被遮挡物体和场景的完整3D几何结构。这种令人向往的能力对识别和理解至关重要。为了在AI系统中实现这种能力，我们提出了VoxFormer，一个基于Transformer的语义场景补全框架，可以仅从2D图像输出完整的3D体素语义。我们的框架采用两阶段设计：首先从深度估计中获取稀疏的可见和占用体素查询，然后通过密集化阶段从稀疏体素生成密集3D体素。该设计的一个关键思想是，2D图像上的视觉特征仅对应于可见场景结构，而不是被遮挡或空旷的空间。因此，从可见结构的特征化和预测开始更为可靠。一旦获得稀疏查询集，我们采用掩码自编码器设计，通过自注意力将信息传播到所有体素。在SemanticKITTI上的实验表明，VoxFormer在几何结构上实现了20.0%的相对提升，在语义上实现了18.1%的相对提升，并将训练时的GPU内存减少约45%至16GB以下。

方法

图1. VoxFormer的总体框架。给定RGB图像，2D特征由ResNet50提取，深度由现成的深度预测器估计。校正后的估计深度启用类别无关的查询提议阶段：位于占用位置的查询将被选中，与图像特征进行可变形交叉注意力。之后，将添加掩码标记，通过可变形自注意力完成体素特征。精细化的体素特征将被上采样并投影到输出空间，进行逐体素语义分割。请注意，我们的框架支持单张或多张图像的输入。

入门指南

• 安装
• 准备数据集
• 运行和评估

模型库

阶段1的查询提议网络（QPN）可在此处下载。 对于阶段2，请根据下表下载训练好的模型。

骨干网络	方法	学习率调度	IoU	mIoU	配置	下载
R50	VoxFormer-T	20ep	44.15	13.35	配置	模型
R50	VoxFormer-S	20ep	44.02	12.35	配置	模型
R50	VoxFormer-T-3D	20ep	44.35	13.69	配置	模型
R50	VoxFormer-S-3D	20ep	44.42	12.86	配置	模型

数据集

• SemanticKITTI
• KITTI-360
• nuScenes

引用格式

如果这项工作对您的研究有所帮助，请引用以下BibTeX条目。

@InProceedings{li2023voxformer,
      title={VoxFormer: Sparse Voxel Transformer for Camera-based 3D Semantic Scene Completion}, 
      author={Li, Yiming and Yu, Zhiding and Choy, Christopher and Xiao, Chaowei and Alvarez, Jose M and Fidler, Sanja and Feng, Chen and Anandkumar, Anima},
      booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
      year={2023}
}

许可证

版权所有 © 2022-2023，NVIDIA Corporation及其关联公司。保留所有权利。

本作品根据Nvidia源代码许可证-NC提供。点击此处查看许可证副本。

预训练模型根据CC-BY-NC-SA-4.0共享。如果您混音、转换或构建本材料，您必须根据与原始材料相同的许可证分发您的贡献。

如需商业咨询，请访问我们的网站并提交表单：NVIDIA研究许可。

Star History

致谢

非常感谢这些优秀的开源项目：

• BEVFormer
• mmdet3d
• MonoScene
• LMSCNet
• semantic-kitti-api
• MobileStereoNet
• Pseudo_Lidar_V2
• wysiwyg

VoxFormer 快速上手指南

工具简介

VoxFormer 是一个基于 Transformer 的 3D 语义场景补全（Semantic Scene Completion）框架，能够仅从 2D 图像预测完整的 3D 几何和语义信息。该工作在 CVPR 2023 发表，在 SemanticKITTI 数据集上取得了领先成绩。

环境准备

系统要求

• 操作系统：Linux（推荐 Ubuntu 18.04 或 20.04）
• GPU：NVIDIA GPU（至少 16GB 显存，推荐 24GB 以上）
• CUDA：11.3 或更高版本
• Python：3.7 - 3.9

前置依赖

# 创建 conda 环境
conda create -n voxformer python=3.8
conda activate voxformer

# 安装 PyTorch 和相关依赖
pip install torch==1.12.0+cu113 torchvision==0.13.0+cu113 -f https://download.pytorch.org/whl/torch_stable.html

# 安装 mmcv 和 mmdetection
pip install mmcv-full==1.6.0 -f https://download.openmmlab.com/mmcv/dist/cu113/torch1.12.0/index.html
pip install mmdet==2.24.0
pip install mmsegmentation==0.29.0

# 安装其他依赖
pip install -r requirements.txt

安装步骤

1. 克隆仓库

git clone https://github.com/NVlabs/VoxFormer.git
cd VoxFormer

2. 安装 VoxFormer

pip install -e .

3. 下载预训练模型

根据需求选择下载以下模型：

模型	IoU	mIoU	下载链接
VoxFormer-T	44.15	13.35	model
VoxFormer-S	44.02	12.35	model
VoxFormer-T-3D	44.35	13.69	model
VoxFormer-S-3D	44.42	12.86	model

同时需要下载 QPN 预训练模型。

4. 准备数据集

请参考 SemanticKITTI 数据集准备文档 进行数据集配置。

基本使用

训练

# 单卡训练
python tools/train.py projects/configs/voxformer/voxformer-T.py

# 多卡训练（以 8 卡为例）
python -m torch.distributed.launch --nproc_per_node=8 tools/train.py projects/configs/voxformer/voxformer-T.py --launcher pytorch

评估

python tools/test.py projects/configs/voxformer/voxformer-T.py --checkpoint path/to/your/checkpoint.pth --eval mIoU

推理演示

python demo.py --config projects/configs/voxformer/voxformer-T.py --checkpoint path/to/your/checkpoint.pth --input path/to/images --output path/to/output

相关资源

• 论文：arXiv PDF
• 项目主页：GitHub
• 安装文档：docs/install.md
• 数据集准备：docs/prepare_dataset.md
• 完整教程：docs/getting_started.md