https://user-images.githubusercontent.com/27915819/161392594-fc0082f7-5c37-4919-830a-2dd423c1d025.mp4

BEVFormer：通过时空Transformer从多摄像头图像中学习鸟瞰图表示，ECCV 2022

• arXiv论文 | 中文版论文 | OpenDriveLab
• 英文演示文稿 | 占用与BEV感知主题演讲幻灯片
• 中文博客 | 视频演讲 和 幻灯片（中文）
• BEV感知综述（已被PAMI接收） | GitHub仓库

新闻

• [2022年6月16日]：我们新增了两种BEVFormer配置，它们比基础版本所需的显存更少。请拉取本仓库以获取最新代码。
• [2022年6月13日]：我们发布了BEVFormer的初始版本。该版本在nuScenes数据集上取得了51.7% NDS的基准结果。
• [2022年5月23日]：🚀🚀基于BEVFormer构建的BEVFormer++，汇集了近期最先进方法中的最佳实践及我们的独特改进，在Waymo Open Dataset 3D摄像头单模态检测挑战赛中位列第1名。我们将在CVPR 2022自动驾驶研讨会上展示BEVFormer++。
• [2022年3月10日]：🚀BEVFormer在nuScenes目标检测任务中以56.9% NDS的成绩达到SOTA（仅使用摄像头）！

摘要

在本工作中，作者提出了一种名为BEVFormer的新框架，该框架利用时空Transformer学习统一的鸟瞰图（BEV）表示，以支持多种自动驾驶感知任务。简而言之，BEVFormer通过预定义的网格状BEV查询，在空间和时间两个维度上进行交互，从而充分利用空间和时间信息。为了聚合空间信息，作者设计了一种空间交叉注意力机制，使每个BEV查询能够从各摄像头视图中的感兴趣区域提取空间特征。对于时间信息，则提出了时间自注意力机制，用于递归地融合历史BEV信息。 所提出的方案在nuScenes测试集上以NDS指标达到了新的最先进水平56.9%，较此前的最佳结果高出9.0个百分点，并与基于激光雷达的基准模型性能相当。

方法

快速入门

• 安装指南
• 准备数据集
• 运行与评估

模型动物园

主干网络	方法	学习率调度	NDS	mAP	内存	配置	下载
R50	BEVFormer-tiny_fp16	24epoch	35.9	25.7	-	配置	模型/日志
R50	BEVFormer-tiny	24epoch	35.4	25.2	6500M	配置	模型/日志
R101-DCN	BEVFormer-small	24epoch	47.9	37.0	10500M	配置	模型/日志
R101-DCN	BEVFormer-base	24epoch	51.7	41.6	28500M	配置	模型/日志
R50	BEVformerV2-t1-base	24epoch	42.6	35.1	23952M	配置	模型/日志
R50	BEVformerV2-t1-base	48epoch	43.9	35.9	23952M	配置	模型/日志
R50	BEVformerV2-t1	24epoch	45.3	38.1	37579M	配置	模型/日志
R50	BEVformerV2-t1	48epoch	46.5	39.5	37579M	配置	模型/日志
R50	BEVformerV2-t2	24epoch	51.8	42.0	38954M	配置	模型/日志
R50	BEVformerV2-t2	48epoch	52.6	43.1	38954M	配置	模型/日志
R50	BEVformerV2-t8	24epoch	55.3	46.0	40392M	配置	模型/日志

百度网盘链接（BEVFormerV2模型及日志）在此：[https://pan.baidu.com/s/1ynzlAt1DQbH8NkqmisatTw?pwd=fdcv]。

目录

• BEVFormerV2 HyperQuery
• BEVFormerV2优化，包括内存、速度、推理等方面。
• BEVFormerV2发布
• BEV分割检查点
• BEV分割代码
• 3D检测检查点
• 3D检测代码
• 初始化

BibTeX

如果本工作对您的研究有所帮助，请考虑引用以下BibTeX条目。

@article{li2022bevformer,
  title={BEVFormer: 通过时空Transformer从多摄像头图像中学习鸟瞰图表示},
  author={Li, Zhiqi and Wang, Wenhai and Li, Hongyang and Xie, Enze and Sima, Chonghao and Lu, Tong and Qiao, Yu and Dai, Jifeng}
  journal={arXiv预印本 arXiv:2203.17270},
  year={2022}
}
@article{Yang2022BEVFormerVA,
  title={BEVFormer v2: 通过透视监督将现代图像主干网络适配到鸟瞰图识别},
  author={Chenyu Yang and Yuntao Chen and Haofei Tian and Chenxin Tao and Xizhou Zhu and Zhaoxiang Zhang and Gao Huang and Hongyang Li and Y. Qiao and Lewei Lu and Jie Zhou and Jifeng Dai},
  journal={ArXiv},
  year={2022},
}

致谢

非常感谢以下优秀的开源项目：

• dd3d
• detr3d
• mmdet3d

↳ 点赞者

↳ 分支者

BEVFormer 快速上手指南

BEVFormer 是一个基于摄像头的自动驾驶感知基线模型，通过时空 Transformer 学习鸟瞰图（BEV）表示。本指南将帮助你快速搭建环境并运行模型。

1. 环境准备

在开始之前，请确保你的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04/20.04)
• GPU: NVIDIA GPU (显存建议 16GB 以上，运行 Base 版本建议 24GB+)
• CUDA: 11.0 或更高版本
• Python: 3.7 - 3.9
• PyTorch: 1.8.0 或更高版本
• MMCV: 需与 PyTorch 版本匹配

前置依赖安装建议： 推荐使用 Conda 创建独立环境。国内用户可使用清华源加速包下载。

# 创建虚拟环境
conda create -n bevformer python=3.8 -y
conda activate bevformer

# 安装 PyTorch (根据实际 CUDA 版本调整，此处以 11.3 为例，使用清华源)
pip install torch==1.9.0+cu111 torchvision==0.10.0+cu111 torchaudio==0.9.0 -f https://download.pytorch.org/whl/torch_stable.html

# 安装 MMCV (需指定 torch 和 cuda 版本，使用 openmmlab 源)
pip install mmcv-full==1.4.0 -f https://download.openmmlab.com/mmcv/dist/cu111/torch1.9.0/index.html

2. 安装步骤

克隆仓库并安装 BEVFormer 及其依赖项。

# 克隆代码库
git clone https://github.com/fundamentalvision/BEVFormer.git
cd BEVFormer

# 安装 mmdetection3d (BEVFormer 基于此框架)
# 建议使用国内镜像加速
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

# 编译安装项目本身
pip install -e .

注意：如果在编译过程中遇到算子编译错误，请确保已正确安装 cuda-toolkit 且 nvcc 在环境变量中。

3. 数据准备

BEVFormer 主要在 nuScenes 数据集上进行训练和评估。

1. 下载 nuScenes 数据集。
2. 按照目录结构组织数据：

   data/
   ├── nuscenes/
   │   ├── maps/
   │   ├── samples/
   │   ├── sweeps/
   │   ├── v1.0-trainval/
   

3. 生成信息文件（info files）：

   python tools/create_data.py nuscenes --root-path ./data/nuscenes --out-dir ./data/nuscenes --extra-tag nuscenes
   

   详细数据准备步骤可参考官方文档 docs/prepare_dataset.md。

4. 基本使用

推理与评估 (Evaluation)

下载预训练模型后（例如 bevformer_tiny_epoch_24.pth），使用以下命令在 nuScenes 验证集上进行评估。

示例：评估 BEVFormer-Tiny 模型

./tools/dist_test.sh \
  projects/configs/bevformer/bevformer_tiny.py \
  checkpoints/bevformer_tiny_epoch_24.pth \
  8 \
  --eval bbox

• projects/configs/bevformer/bevformer_tiny.py: 配置文件路径。
• checkpoints/bevformer_tiny_epoch_24.pth: 下载的权重文件路径。
• 8: 使用的 GPU 数量。
• --eval bbox: 评估指标，此处为 3D 检测框。

训练 (Training)

使用以下命令启动训练任务（以 Tiny 版本为例）：

./tools/dist_train.sh \
  projects/configs/bevformer/bevformer_tiny.py \
  8 \
  --work-dir ./work_dirs/bevformer_tiny

模型选择建议

根据显存大小选择合适的配置：

模型版本	骨干网络	预估显存	特点	配置文件
Tiny (FP16)	ResNet50	~4-6 GB	显存占用最低，适合调试	bevformer_tiny_fp16.py
Tiny	ResNet50	~6.5 GB	标准 Tiny 版本	bevformer_tiny.py
Small	R101-DCN	~10.5 GB	精度与速度平衡	bevformer_small.py
Base	R101-DCN	~28.5 GB	高精度，需多卡大显存	bevformer_base.py

提示：更多预训练模型和配置文件请访问项目 Model Zoo 或百度网盘链接。