BEVFusion：一个简单且鲁棒的激光雷达-相机融合框架。

这篇论文链接专注于用于3D目标检测的激光雷达与相机融合。如果您觉得该项目有用，请引用以下内容：

@inproceedings{liang2022bevfusion,
  title={{BEVFusion: A Simple and Robust LiDAR-Camera Fusion Framework}},
  author={Tingting Liang, Hongwei Xie, Kaicheng Yu, Zhongyu Xia, Zhiwei Lin, Yongtao Wang, Tao Tang, Bing Wang and Zhi Tang},
  booktitle = {Neural Information Processing Systems (NeurIPS)},
  year={2022}
}

引言

将相机和激光雷达信息进行融合已成为3D目标检测任务的事实标准。当前的方法通常以激光雷达传感器生成的点云作为查询，从而利用图像空间中的特征。然而，研究者发现，这种假设使得现有的融合框架在激光雷达出现故障时（无论故障大小）都无法产生任何预测结果。这从根本上限制了其在实际自动驾驶场景中的部署能力。相比之下，我们提出了一种出人意料地简单但又新颖的融合框架——BEVFusion，该框架的相机流并不依赖于激光雷达数据的输入，从而解决了先前方法的不足之处。实验表明，在常规训练设置下，我们的框架性能已超越当前最先进方法；而在模拟各种激光雷达故障的鲁棒性训练设置中，我们的框架在mAP指标上更是大幅领先于现有方法，提升幅度达15.7%至28.9%。据我们所知，我们是首个能够有效应对真实场景中激光雷达故障，并可在无需任何后处理步骤的情况下直接部署到实际场景中的方案。

主要结果

nuScenes 检测测试集

模型	头部	3D骨干网络	2D骨干网络	mAP	NDS	链接
BEVFusion	TransFusion-L	VoxelNet	Dual-Swin-T	69.2	71.8	检测结果
BEVFusion*	TransFusion-L	VoxelNet	Dual-Swin-T	71.3	73.3	排行榜

nuScenes 检测验证集

模型	头部	3D骨干网络	2D骨干网络	mAP	NDS	模型
BEVFusion	PointPillars	-	Dual-Swin-T	22.9	31.1	模型
BEVFusion	PointPillars	PointPillars	-	35.1	49.8	模型
BEVFusion	PointPillars	PointPillars	Dual-Swin-T	53.5	60.4	模型
BEVFusion	CenterPoint	-	Dual-Swin-T	27.1	32.1	-
BEVFusion	CenterPoint	VoxelNet	-	57.1	65.4	-
BEVFusion	CenterPoint	VoxelNet	Dual-Swin-T	64.2	68.0	-
BEVFusion	TransFusion-L	-	Dual-Swin-T	22.7	26.1	-
BEVFusion	TransFusion-L	VoxelNet	-	64.9	69.9	-
BEVFusion	TransFusion-L	VoxelNet	Dual-Swin-T	67.9	71.0	-
BEVFusion*	TransFusion-L	VoxelNet	Dual-Swin-T	69.6	72.1	模型

*: 这些方法在训练过程中采用了BEV空间的数据增强技术。

关于BEV空间增强的致谢

我们使用的BEV空间增强技术（GlobalRotScaleTransBEV和RandomFlip3DBEV）由BEVFusion-mit实现。您还可以参考BEVDet、DEVDepth等项目，获取更多实现版本。

此外，还有基于图像空间的增强方法，您可以在LSS、BEVDet、BEVFusion-mit以及DEVDepth中探索。

感谢这些优秀的开源项目及其高质量的代码库。

nuScenes 检测在激光雷达故障情况下的验证

验证集中随机丢弃目标框的相关信息见 drop_foreground.json，其中包含激光雷达文件名以及是否丢弃目标框（True 表示丢弃，False 表示不丢弃）。

模型	有限视场	物体丢失	头部	3D骨干	2D骨干	mAP	NDS	模型
BEVFusion	(-π/3,π/3)	False	PointPillars	PointPillars	Dual-Swin-T	33.5	42.1	模型
BEVFusion	(-π/2,π/2)	False	PointPillars	PointPillars	Dual-Swin-T	36.8	45.8	模型
BEVFusion	-	True	PointPillars	PointPillars	Dual-Swin-T	41.6	51.9	模型
BEVFusion	(-π/3,π/3)	False	CenterPoint	VoxelNet	Dual-Swin-T	40.9	49.9	-
BEVFusion	(-π/2,π/2)	False	CenterPoint	VoxelNet	Dual-Swin-T	45.5	54.9	-
BEVFusion	-	True	CenterPoint	VoxelNet	Dual-Swin-T	54.0	61.6	-
BEVFusion	(-π/3,π/3)	False	TransFusion-L	VoxelNet	Dual-Swin-T	41.5	50.8	-
BEVFusion	(-π/2,π/2)	False	TransFusion-L	VoxelNet	Dual-Swin-T	46.4	55.8	-
BEVFusion	-	True	TransFusion-L	VoxelNet	Dual-Swin-T	50.3	57.6	-

nuImage 检测验证

模型	2DBackbone	bbox_mAP	segm_mAP	模型
Mask R-CNN	Dual-Swin-T	56.0	46.1	模型

使用 BEVFusion

安装

请参阅 getting_started.md 以了解 mmdet3d 的安装方法。

推荐环境：

python==3.8.3
mmdet==2.11.0 (请在 mmdetection-2.11.0 中安装 mmdet)
mmcv==1.4.0
mmdet3d==0.11.0
numpy==1.19.2
torch==1.7.0
torchvision==0.8.0

基准评估与训练

请参阅 data_preparation.md 准备数据。然后按照其中的说明训练我们的模型。所有检测配置均包含在 configs 中。

# bevfusion-pointpillar 的训练示例
# 针对相机流骨干和颈部训练 nuimage。
./tools/dist_train.sh configs/bevfusion/cam_stream/mask_rcnn_dbswin-t_fpn_3x_nuim_cocopre.py 8
# 首先训练相机流
./tools/dist_train.sh configs/bevfusion/cam_stream/bevf_pp_4x8_2x_nusc_cam.py 8
# 然后训练激光雷达流
./tools/dist_train.sh configs/bevfusion/lidar_stream/hv_pointpillars_secfpn_sbn-all_4x8_2x_nus-3d.py 8
# 最后训练 BEVFusion
./tools/dist_train.sh configs/bevfusion/bevf_pp_2x8_1x_nusc.py 8

### bevfusion-pointpillar 的评估示例
./tools/dist_test.sh configs/bevfusion/bevf_pp_2x8_1x_nusc.py ./work_dirs/bevfusion_pp.pth 8 --eval bbox

### 具有 BEV_augs 的 SOTA 结果的训练示例
git checkout dev_aug
# 首先训练相机流
./tools/dist_train.sh configs/bevfusion/cam_stream/bevf_tf_4x8_20e_nusc_cam_lr.py 8
# 然后训练激光雷达流
./tools/dist_train.sh configs/bevfusion/lidar_stream/transfusion_nusc_voxel_L.py 8
# 最后训练 BEVFusion
./tools/dist_train.sh configs/bevfusion/bevf_tf_4x8_10e_nusc_aug.py 8

致谢

我们衷心感谢 mmdetection3d、TransFusion、LSS、CenterPoint 的作者们开源他们的方法。

BEVFusion 快速上手指南

BEVFusion 是一个简单且鲁棒的激光雷达（LiDAR）与相机融合框架，专为 3D 物体检测设计。其核心优势在于相机流不依赖 LiDAR 输入，即使在 LiDAR 发生故障时也能保持高性能预测，非常适合真实的自动驾驶场景部署。

1. 环境准备

在开始之前，请确保您的开发环境满足以下系统要求和依赖版本。推荐配置如下：

• 操作系统: Linux (Ubuntu 18.04/20.04 推荐)
• Python: 3.8.3
• PyTorch: 1.7.0
• CUDA: 需与 PyTorch 1.7.0 匹配 (通常为 11.0)
• 核心依赖库:
  • mmcv == 1.4.0
  • mmdet == 2.11.0 (需在 mmdetection-2.11.0 分支安装)
  • mmdet3d == 0.11.0
  • numpy == 1.19.2
  • torchvision == 0.8.0

提示：国内用户建议使用清华源或阿里源加速 pip 和 conda 包的下载。

2. 安装步骤

本项目基于 MMDetection3D 构建。请严格按照以下步骤进行安装：

第一步：安装基础深度学习框架

首先安装指定版本的 PyTorch 和 torchvision（以 CUDA 11.0 为例）：

pip install torch==1.7.0+cu110 torchvision==0.8.0+cu110 -f https://download.pytorch.org/whl/torch_stable.html

第二步：安装 MMCV

安装与 PyTorch 版本严格对应的 mmcv-full：

pip install mmcv-full==1.4.0 -f https://download.openmmlab.com/mmcv/dist/cu110/torch1.7/index.html

(注：如果您的 CUDA 版本不同，请前往 OpenMMLab 官网查找对应的预编译包链接)

第三步：安装 MMDetection

克隆仓库并切换到指定版本进行安装：

git clone https://github.com/open-mmlab/mmdetection.git
cd mmdetection
git checkout v2.11.0
pip install -r requirements/build.txt
pip install -v -e .
cd ..

第四步：安装 MMDetection3D

克隆官方仓库并安装指定版本：

git clone https://github.com/open-mmlab/mmdetection3d.git
cd mmdetection3d
git checkout v0.11.0
pip install -r requirements/docs.txt
pip install -v -e .
cd ..

第五步：获取 BEVFusion 代码

克隆 BEVFusion 项目并将配置文件链接到 MMDetection3D 中（具体操作参考项目根目录的 docs/getting_started.md，通常涉及将本项目的 configs 文件夹软链接或复制到 mmdetection3d 目录下）。

3. 基本使用

在使用前，请先参照项目文档 docs/data_preparation.md 完成 nuScenes 或 nuImages 数据集的准备。

以下是基于 BEVFusion-PointPillars 模型的最简训练与测试流程。该流程采用分阶段训练策略：先训练相机流，再训练 LiDAR 流，最后联合训练融合模型。

训练模型

假设您拥有 8 张 GPU，执行以下命令：

1. 训练相机流主干网络 (以 nuImages 数据集为例，用于初始化相机分支):

   ./tools/dist_train.sh configs/bevfusion/cam_stream/mask_rcnn_dbswin-t_fpn_3x_nuim_cocopre.py 8
   

2. 训练相机流 (nuScenes 数据集):

   ./tools/dist_train.sh configs/bevfusion/cam_stream/bevf_pp_4x8_2x_nusc_cam.py 8
   

3. 训练 LiDAR 流:

   ./tools/dist_train.sh configs/bevfusion/lidar_stream/hv_pointpillars_secfpn_sbn-all_4x8_2x_nus-3d.py 8
   

4. 训练 BEVFusion 融合模型:

   ./tools/dist_train.sh configs/bevfusion/bevf_pp_2x8_1x_nusc.py 8
   

评估模型

训练完成后，使用以下命令对验证集进行评估：

./tools/dist_test.sh configs/bevfusion/bevf_pp_2x8_1x_nusc.py ./work_dirs/bevfusion_pp.pth 8 --eval bbox

说明：

• 所有配置文件均位于 configs/bevfusion/ 目录下，可根据需求选择不同的 Backbone（如 VoxelNet, Dual-Swin-T）和 Head（如 CenterPoint, TransFusion-L）。
• 若需复现 SOTA 结果（包含 BEV 空间数据增强），请切换至 dev_aug 分支并使用对应的 _aug 配置文件进行训练。