视觉中心的BEV感知

视觉中心的BEV感知：综述

引言

(1) 数据集

(2) 基于几何的 PV2BEV

基于单应变换的 PV2BEV

公开论文：

• IPM：逆透视映射简化了光流计算和障碍物检测（生物控制论，1991年）[论文]
• DSM：基于街景图像的自动密集视觉语义建图（IROS'12）[论文]
• MapV：学习将车辆映射到鸟瞰视角（ICIAP'17）[论文]
• BridgeGAN：生成对抗网络从前视图到鸟瞰图的合成（3DV'18）[论文][项目页面]
• VPOE：基于深度学习的通过逆透视映射图像进行车辆位置与姿态估计（IV'19）[论文]
• 3D-LaneNet：端到端三维多车道检测（ICCV'19）[论文]
• 正确（倾斜）的视角：利用增强型逆透视映射提升对道路场景的理解（IV'19）[论文]
• Cam2BEV：一种Sim2Real深度学习方法，用于将多路车载摄像头拍摄的图像转换为鸟瞰视角下的语义分割图像（ITSC'20）[论文] [项目页面]
• MonoLayout：从单张图像中恢复无遮挡场景布局（WACA'20）[论文] [项目页面]
• MVNet：基于特征透视变换的多视角检测（ECCV'20）[论文] [项目页面]
• OGMs：在“平板车”间行驶：基于单目相机的鸟瞰占用栅格地图，用于整体轨迹规划（WACA'21）[论文] [项目页面]
• TrafCam3D：利用单应变换，通过未标定交通摄像头实现单目三维车辆检测（IROS'21）[论文] [项目页面]
• SHOT：用于多视角行人检测的堆叠单应变换（ICCV'21）[论文]
• HomoLoss：用于单目三维目标检测的单应损失（CVPR'22）[论文]

时间顺序概览：

基于深度的 PV2BEV

公开论文：

• OFT：用于单目三维目标检测的正交特征变换（BMVC'19）[论文] [项目页面]
• CaDDN：用于单目三维目标检测的类别化深度分布网络（CVPR'21）[论文] [项目页面]
• DSGN：用于三维目标检测的深度立体几何网络（CVPR'20）[论文] [项目页面]
• Lift, Splat, Shoot：通过隐式反投影至三维空间来编码来自任意相机阵列的图像（ECCV'20）[论文] [项目页面]
• PanopticSeg：使用单目前视图图像进行鸟瞰全景分割（RA-L'22）[论文] [项目页面]
• FIERY：基于环绕式单目相机的鸟瞰未来实例预测（ICCV'21）[论文] [项目页面]
• LIGA-Stereo：为基于立体视觉的三维检测器学习激光雷达几何感知表示（ICCV'21）[论文] [项目页面]
• ImVoxelNet：用于单目及多视角通用三维目标检测的图像到体素投影（WACV'22）[论文] [项目页面]
• BEVDet：高性能多摄像头鸟瞰三维目标检测（Arxiv'21）[论文] [项目页面]
• M^2BEV：多摄像头联合三维检测与分割，采用统一的鸟瞰视图表示（Arxiv'22）[论文] [项目页面]
• StretchBEV：在空间和时间维度上扩展未来实例预测（ECCV'22）[论文] [项目页面]
• DfM：基于运动深度的单目三维目标检测（ECCV'22）[论文] [项目页面]
• BEVDet4D：在多摄像头三维目标检测中利用时间线索（Arxiv'22）[论文] [项目页面]
• BEVerse：面向视觉中心自动驾驶的鸟瞰统一感知与预测（Arxiv'22）[论文] [项目页面]
• MV-FCOS3D++：仅使用多视角摄像头，结合预训练单目骨干网络的四维目标检测（Arxiv'22）[论文] [项目页面]
• 将人放回原位：单目深度回归三维人体（CVPR'22）[代码] [项目页面] [论文] [视频] [RH数据集]

时间顺序概览：

基准测试结果：

(3) 基于网络的 PV2BEV

基于 MLP 的 PV2BEV

公开论文：

• VED：基于卷积变分编码器-解码器网络的单目语义占用栅格地图构建（RA-L'19）[论文] [项目页面]
• VPN：用于环境感知的跨视图语义分割（IROS'20）[论文] [项目页面]
• FishingNet：网格中语义热图的未来推理（Arxiv'20）[论文]
• PON：使用金字塔占用网络从图像预测语义地图表示（CVPR'20）[论文] [项目页面]
• STA-ST：在鸟瞰视角车辆估计中实现时空聚合（ICRA'21）[论文]
• HDMapNet：在线高清地图构建与评估框架（ICRA'22）[论文] [项目页面]
• 专注地投射你的视角：通过跨视图变换进行单目道路场景布局估计（CVPR'21）[论文] [项目页面]
• HFT：通过混合特征变换提升透视表示（Arxiv'22）[论文] [项目页面]

时间顺序概览：

基准测试结果：

基于 Transformer 的 PV2BEV

公开论文：

• STSU：基于车载图像的结构化鸟瞰视角交通场景理解（ICCV'21）[论文] [项目页面]
• Image2Map：将图像转换为地图（ICRA'22）[论文] [项目页面]
• DETR3D：通过 3D 到 2D 查询实现多视角图像中的 3D 物体检测（CoRL'21）[论文] [项目页面]
• TopologyPL：从单张车载摄像头图像中进行拓扑保持的局部路网估计（CVPR'22）[论文] [项目页面]
• PETR：用于多视角 3D 物体检测的位置嵌入变换（ECCV'22）[论文] [项目页面]
• BEVSegFormer：来自任意相机阵列的鸟瞰视角语义分割（Arxiv'22）[论文]
• PersFormer：3D 车道线检测的新基线（ECCV'22）[论文] [项目页面]
• MonoDTR：带有深度感知的单目 3D 物体检测（CVPR'22）[论文] [项目页面]
• MonoDETR：用于单目 3D 物体检测的深度引导型 Transformer（Arxiv'22）[论文] [项目页面]
• BEVFormer：通过时空 Transformer 从多相机图像中学习鸟瞰视角表示（ECCV'22）[论文] [项目页面]
• GitNet：基于几何先验的鸟瞰视角分割变换（ECCV'22）[论文]
• Graph-DETR3D：重新思考多视角 3D 物体检测中的重叠区域（MM'22）[论文]
• CVT：用于实时地图视图语义分割的跨视图 Transformer（CVPR'22）[论文] [项目页面]
• PETRv2：一种用于从多相机图像中进行 3D 感知的统一框架（Arxiv'22）[论文] [项目页面]
• Ego3RT：以光线追踪方式学习自我 3D 表示（ECCV'22）[论文] [项目页面]
• GKT：通过几何引导的核 Transformer 实现高效且鲁棒的 2D 到 BEV 表示学习（Arxiv'22）[论文] [项目页面]
• PolarDETR：基于极坐标参数化的视觉环绕式 3D 检测（Arxiv'22）[论文] [项目页面]
• LaRa：用于多相机鸟瞰视角语义分割的潜在变量和光线（Arxiv'22）[论文]
• SRCN3D：稀疏 R-CNN 3D 环绕式摄像头用于自动驾驶的 3D 物体检测与跟踪（Arxiv'22）[论文] [项目页面]
• PolarFormer：使用极坐标 Transformer 进行多相机 3D 物体检测（Arxiv'22）[论文] [项目页面]
• ORA3D：ORA3D：重叠区域感知的多视角 3D 物体检测（Arxiv'22）[论文]
• CoBEVT：使用稀疏 Transformer 进行协作式鸟瞰视角语义分割（Arxiv'22）[论文]

时间顺序概览：

基准测试结果：

(4) 扩展

BEV下的多任务学习

• FIERY：基于环视单目相机的鸟瞰图未来实例预测（ICCV'21）[论文] [项目页]
• StretchBEV：在空间和时间上扩展未来实例预测（ECCV'22）[论文] [项目页]
• BEVerse：面向视觉中心自动驾驶的统一鸟瞰感知与预测（Arxiv'22）[论文] [项目页]
• M^2BEV：基于统一鸟瞰表示的多摄像头联合3D检测与分割（Arxiv'22）[论文] [项目页]
• STSU：基于车载图像的结构化鸟瞰交通场景理解（ICCV'21）[论文] [项目页]
• BEVFormer：通过时空Transformer从多摄像头图像中学习鸟瞰表示（ECCV'22）[论文] [项目页]
• Ego3RT：以光线追踪方式学习自我3D表示（ECCV'22）[论文] [项目页]
• PETRv2：一种基于多摄像头图像的3D感知统一框架（Arxiv'22）[论文] [项目页]
• PolarFormer：基于极坐标Transformer的多摄像头3D目标检测（Arxiv'22）[论文] [项目页]

BEV下的融合

多模态融合：

• PointPainting：用于3D目标检测的顺序式融合（CVPR'19）[论文] [项目页]
• 3D-CVF：利用跨视图空间特征融合生成相机与LiDAR联合特征，用于3D目标检测（ECCV'20）[论文] [项目页]
• FUTR3D：一种用于3D检测的统一传感器融合框架（Arxiv'22）[论文] [项目页]
• MVP：多模态虚拟点3D目标检测（NIPS'21）[论文] [项目页]
• PointAugmenting：用于3D目标检测的跨模态增强（CVPR'21）[论文] [项目页]
• FusionPainting：采用自适应注意力机制进行多模态融合的3D目标检测（ITSC'21）[论文] [项目页]
• 将基于体素的表示与Transformer统一用于3D目标检测（Arxiv'21）[论文] [项目页]
• TransFusion：使用Transformer实现鲁棒的LiDAR-相机融合3D目标检测（CVPR'22）[论文] [项目页]
• AutoAlign：用于多模态3D目标检测的像素-实例特征聚合（IJCAI'22）[论文] [项目页]
• AutoAlignV2：用于动态多模态3D目标检测的可变形特征聚合（ECCV'22）[论文] [项目页]
• CenterFusion：基于中心点的雷达与相机融合3D目标检测（WACV'21）[论文] [项目页]
• MSMDFusion：以多深度种子在多个尺度上融合LiDAR与相机进行3D目标检测（Arxiv'22）[论文] [项目页]

时序融合：

• BEVDet4D：在多摄像头3D目标检测中利用时序线索（Arxiv'22）[论文] [项目页]
• Image2Map：将图像转化为地图（ICRA'22）[论文] [项目页]
• FIERY：基于环视单目相机的鸟瞰图未来实例预测（ICCV'21）[论文] [项目页]
• Ego3RT：以光线追踪方式学习自我3D表示（ECCV'22）[论文] [项目页]
• PolarFormer：基于极坐标Transformer的多摄像头3D目标检测（Arxiv'22）[论文] [项目页]
• BEVStitch：利用车载摄像头理解道路语义的鸟瞰视图（ICRA'22）[论文] [项目页]
• PETRv2：一种基于多摄像头图像的3D感知统一框架（Arxiv'22）[论文] [项目页]
• BEVFormer：通过时空Transformer从多摄像头图像中学习鸟瞰表示（ECCV'22）[论文] [项目页]
• UniFormer：用于鸟瞰视图中时空表示的统一多视角融合Transformer（Arxiv'22）[论文]
• DfM：基于运动估计深度的单目3D目标检测（ECCV'22）[论文] [项目页]

多智能体融合：

• CoBEVT：基于稀疏Transformer的协作式鸟瞰语义分割（Arxiv'22）[论文]

经验性知识

引用

如果您在研究中使用了我们的工作，请考虑引用：

@inproceedings{Ma2022VisionCentricBP,
  title={视觉中心的BEV感知：综述},
  author={马跃鑫、王泰、白旭阳、杨慧通、侯元安、王亚明、Y. Qiao、杨瑞刚、迪内什·马诺查、朱新格},
  year={2022}
}

贡献

欢迎提交拉取请求，以添加新的论文或相关项目页面。

相关仓库

Vision-Centric-BEV-Perception 快速上手指南

项目简介： Vision-Centric-BEV-Perception 是一个关于“以视觉为中心的鸟瞰图（BEV）感知”的综合综述资源库。该项目并非单一的可执行代码库，而是整理了从几何方法、深度学习方法到基于网络（MLP/Transformer）的各类 BEV 感知算法论文、代码链接及基准测试结果。本指南旨在帮助开发者快速利用该资源库定位所需算法并搭建基础开发环境。

1. 环境准备

由于本项目主要作为论文与代码的索引清单，运行具体算法需参考各子项目的独立要求。但为了浏览综述内容、复现主流 Transformer 或深度学习类 BEV 算法（如 BEVFormer, PETR, DETR3D 等），建议准备以下通用环境：

• 操作系统: Linux (推荐 Ubuntu 18.04/20.04) 或 Windows (WSL2)
• Python: 3.8 或更高版本
• GPU: NVIDIA GPU (显存建议 16GB+ 以运行多相机 3D 检测模型)，驱动版本 >= 450.80.02
• 核心依赖:
  • PyTorch >= 1.9.0
  • CUDA Toolkit (与 PyTorch 版本匹配，推荐 11.1 或 11.3)
  • MMCV / MMDetection3D (许多 listed 项目基于 OpenMMLab 生态)

2. 安装步骤

2.1 克隆项目

首先获取综述资源库，用于查阅论文列表和分类架构。

git clone https://github.com/OpenPerceptionX/Vision-Centric-BEV-Perception.git
cd Vision-Centric-BEV-Perception

2.2 配置基础深度学习环境

大多数列出的先进算法（如 BEVFormer, PETR, DETR3D）依赖 PyTorch 生态。推荐使用国内镜像源加速安装。

创建虚拟环境：

conda create -n bev_env python=3.8 -y
conda activate bev_env

安装 PyTorch (使用清华/中科大镜像)：

# 示例：安装 CUDA 11.3 版本，请根据实际显卡调整
pip install torch torchvision torchaudio --index-url https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple

安装通用计算机视觉依赖 (OpenMMLab 体系)： 许多收录的论文代码基于 MMDetection3D，建议预装基础组件。

# 安装 mmcv-full (注意版本兼容性，此处以 1.7.0 为例)
pip install mmcv-full -f https://download.openmmlab.com/mmcv/dist/cu113/torch1.9.0/index.html

# 安装 mmdetection 和 mmdetection3d
pip install mmdet==2.25.0
pip install mmdet3d==1.0.0rc6

注意：本仓库本身不包含统一的 setup.py。若要运行具体的算法（如 BEVFormer），请进入 README 中对应的 [project page] 链接（通常是独立的 GitHub 仓库），按照该特定仓库的说明进行安装。

3. 基本使用

本项目的核心用途是技术选型与代码导航。以下是典型的使用流程：

3.1 浏览算法分类

打开本地克隆的 README.md 文件或在线查看，根据需求定位算法类别：

• 几何方法 (Geometry Based): 适合算力受限场景，查看 Homograph based 或 Depth based 章节（如 OFT, CaDDN）。
• 网络方法 (Network Based): 追求高精度，查看 MLP based 或 Transformer based 章节（如 BEVFormer, PETR, CVT）。

3.2 获取并运行具体模型示例

假设你选择了 BEVFormer (Transformer based PV2BEV) 进行尝试：

1. 跳转至项目页：点击 README 中 BEVFormer 的 [project page] 链接 (https://github.com/zhiqi-li/BEVFormer)。
2. 克隆具体代码库：

   git clone https://github.com/zhiqi-li/BEVFormer.git
   cd BEVFormer
   

3. 数据准备：下载 nuScenes 数据集并整理目录结构（参考该子项目文档）。
4. 运行推理/训练：

   # 示例：使用预训练权重进行单张图像推理 (具体命令以子项目为准)
   python tools/test.py configs/bevformer/bevformer_base.py \
   checkpoints/bevformer_base.pth \
   --eval bbox
   

3.3 对比基准结果

在 Vision-Centric-BEV-Perception 的 README 中，直接查看 Benchmark Results 部分的图片（如 depth-based results.png 或 MLP-based-result.png），快速对比不同算法在 nuScenes 等数据集上的 mAP 和 NDS 指标，辅助决策。