高效深度相机标定

更多内容和详细信息，请参阅我们的调查论文：基于深度学习的相机标定及其拓展：一份调查。

🚩目录

1. 基础知识
2. 分类与统计
3. 基准测试
4. 新型标定表示法
5. 方法
6. 数据集
7. 引用
8. 中文手册
9. 使用我们调查的项目与课程

📢新闻

我们近期的研究成果——Puffin，能够将以相机为中心的理解（相机标定、姿态估计）与生成能力（相机可控的T2I和I2I生成）统一在一个连贯的多模态框架中。通过我们提出的“用相机思考”方式，Puffin实现了更精准的理解与生成性能，并深入探讨了多模态任务之间有意义的相互作用。如果您对相机相关的3D视觉、摄影、具身人工智能以及空间智能感兴趣，请访问这里了解更多详情。

📝变更记录

• 2025年2月24日：更新了基于学习的相机标定中关于“新型标定表示法”的相关内容，这些表示法展现了替代传统标定目标用于神经网络的潜力。
• 2025年2月24日：更新了2023年和2024年的文献综述（新增100多篇论文！）。更多详细信息请参阅我们的arXiv v3 版本。
• 2024年6月5日：更新了调查论文（补充材料），并对所构建的基准进行了评估。
• 2024年6月5日：更新了调查论文（第3.3.3节：基于重建的标定），并就NeRF进行了更多技术性讨论，尤其是在相机参数初始化方面。
• 2024年6月4日：我们对基准测试中已标定的相机参数进行了进一步的详细说明。
• 2024年1月5日：基准测试正式发布。请参阅数据集链接及更多细节，详见基准测试。
• 2023年3月19日：arXiv版本的调查报告已上线。

📖基础知识

• 计算机视觉中的多视图几何 - Hartley, R., & Zisserman, A. (2004)
• 一种灵活的全新相机标定技术 - Zhang Zhengyou. (2000)

📊分类与统计

我们根据未标定的相机模型及其扩展应用对所有方法进行分类：标准模型、畸变模型、跨视图模型以及跨传感器模型。

我们根据每年的发表数量、标定目标、数据集的模拟情况以及学习策略，对所有文献进行了汇总。

📁基准测试

在该数据集中，图像和视频均来自不同环境下的多种相机。每组数据均提供了精确的地面真实值和标签。请参阅数据集链接及更多细节，详见基准测试。

🏁新型标定表示法

近年来，基于学习的相机标定研究倾向于设计全新的几何场，以取代传统的相机参数（即内参和外参）作为新的学习目标。这一设计灵感源自相机模型的先验知识或拍摄图像的视角特性，例如畸变分布图、透视场、入射场、相机光线以及相机图像等。这些字段以像素级或补丁级的方式对内参和/或外参的不变量进行参数化。它们与图像细节之间存在明确的关联，并且对神经网络而言具有良好的学习友好性。

📸方法

年份	出版物	标题	缩写	目标	平台	网络
2015	ICIP	Deepfocal：一种直接估算焦距的方法	DeepFocal	内参	Caffe	AlexNet
2015	ICCV	Posenet：一种用于实时6自由度相机重新定位的卷积神经网络	PoseNet	外参	Caffe	GoogLeNet
2016	BMVC	野外环境中的水平线	DeepHorizon	外参	Caffe	GoogLeNet
2016	CVPR	利用全局图像上下文在非曼哈顿世界中检测消失点	DeepVP	外参	Caffe	AlexNet
2016	ACCV	利用合成图像训练的卷积神经网络进行径向镜头畸变校正	Rong等	畸变系数	Caffe	AlexNet
2016	RSSW	深度图像同构估计	DHN	投影矩阵	Caffe	VGG
2017	CVPR	Clkn：用于图像对齐的级联Lucas-Kanade网络	CLKN	投影矩阵	Torch	CNN + Lucas-Kanade层
2017	ICCVW	利用层次化卷积神经网络从图像对中估计同构矩阵	HierarchicalNet	投影矩阵	TensorFlow	VGG
2017	CVPR	Unrolling the Shutter：使用CNN校正运动畸变	URS-CNN	去畸变	Torch	CNNs
2017	IV	RegNet：利用深度神经网络实现多模态传感器配准	RegNet	相机+激光雷达	Caffe	CNNs
2018	CVPR	用于深度单张图像相机标定的感知性指标	Hold-Geoffroy等	内参+外参		DenseNet
2018	CVMP	DeepCalib：一种用于广角相机自动内参校准的深度学习方法	DeepCalib	内参+畸变系数	TensorFlow	Inception-V3
2018	ECCV	FishEyeRecNet：一种用于鱼眼图像矫正的多情境协作深度网络	FishEyeRecNet	畸变系数	Caffe	VGG
2018	ICPR	通过在卷积神经网络中添加带有反向视网膜模型的权重层来校正径向镜头畸变	Shi等	畸变系数	PyTorch	ResNet
2018	ECCV	深度基础矩阵估计	DeepFM	投影矩阵	PyTorch	ResNet
2018	ECCVW	无对应关系下的深度基础矩阵估计	Poursaeed等	投影矩阵		CNNs
2018	RAL	无监督深度同构：一种快速且鲁棒的同构估计模型	UDHN	投影矩阵	TensorFlow	VGG
2018	ACCV	重新思考基于透视场的平面同构估计	PFNet	投影矩阵	TensorFlow	FCN
2018	IROS	CalibNet：利用三维空间变换网络进行几何监督的外参校准	CalibNet	相机+激光雷达	TensorFlow	ResNet
2018	ICRA	DeepVP：基于深度学习的100万张街景图像消失点检测	Chang等	标准	Matconvnet	AlexNet
2019	CVPR	利用径向畸变进行深度单张图像相机标定	Lopez等	内参+外参+畸变系数	PyTorch	DenseNet
2019	ICCV	UprightNet：基于单张图像的几何感知相机朝向估计	UprightNet	外参	PyTorch	U-Net
2019	IROS	重新审视自校准中的退化问题，并为未校准的SLAM提出一种深度学习解决方案	Zhuang等	内参+畸变系数	PyTorch	ResNet
2019	PRL	利用可逆约束的自监督深度同构估计	SSR-Net	投影矩阵	PyTorch	ResNet
2019	ICCVW	一种从图像中获取鸟瞰视角的几何方法	Abbas等	投影矩阵	TensorFlow	CNNs
2019	TCSVT	DR-GAN：利用条件GAN在实时环境中自动进行径向畸变校正	DR-GAN	去畸变	TensorFlow	GANs
2019	TCSVT	从静态到动态的畸变校正：从畸变序列构建的角度来看	STD	去畸变	TensorFlow	GANs
2019	VR	Deep360Up：一种基于深度学习的自动VR图像直立调整方法	Deep360Up	外参		DenseNet
2019	JVCIR	通过具有几何先验的双向损失实现无监督鱼眼图像矫正	UnFishCor	畸变系数	TensorFlow	VGG
2019	CVPR	通过深度学习实现图像的盲目几何畸变校正	BlindCor	去畸变	PyTorch	U-Net
2019	CVPR	学习结构与运动感知的滚动快门校正	RSC-Net	去畸变	PyTorch	ResNet
2019	CVPR	学习为鱼眼图像矫正校准直线	Xue等	畸变系数	PyTorch	ResNet
2019	ICCV	学习人物肖像的视角去畸变	Zhao等	内参+去畸变		VGG + U-Net
2019	NeurIPS	NeurVPS：通过圆锥卷积实现神经消失点扫描	NeurVPS	标准	PyTorch	CNNs
2020	CVPR	端到端的广播视频相机标定	Sha等	投影矩阵	TensorFlow	Siamese-Net + U-Net
2020	ECCV	单张图像相机标定的神经几何解析器	Lee等	内参+外参		PointNet + CNNs
2020	ICRA	学习相机误差检测	MisCaliDet	平均像素位置差异	TensorFlow	CNNs
2020	WACV	DeepPTZ：PTZ相机的深度自校准	DeepPTZ	内参+外参+畸变系数	PyTorch	Inception-V3
2020	CVPR	动态场景下的深度同构估计	MHN	投影矩阵	TensorFlow	VGG
2020	ACMMM	SRHEN：通过在深层潜在空间中解析几何对应关系，逐步细化同构估计网络	SRHEN	投影矩阵		CNNs
2020	ECCV	通过分割实现360°相机对齐	Davidson等	外参		FCN
2020	ECCV	内容感知的无监督深度同构估计	CA-UDHN	投影矩阵	PyTorch	FCN + ResNet
2020	IROS	基于几何约束的深度关键点相机姿态估计	DeepFEPE	外参	PyTorch	VGG + PointNet
2020	TIP	无需模型的畸变校正框架，由畸变分布图桥梁	DDM	去畸变	Tensorflow	GANs
2020	TIP	针对360°双鱼眼相机的深度人脸矫正	Li等	去畸变		CNNs
2020	ICPR	基于位置感知并增强对称性的GAN用于径向畸变校正	PSE-GAN	去畸变		GANs
2020	ICIP	一种简单而有效的径向畸变校正流程	RDC-Net	去畸变	PyTorch	ResNet
2020	ICASSP	用于鱼眼图像矫正的自监督深度学习	FE-GAN	去畸变	PyTorch	GANs
2020	CVPR	RDCFace：用于人脸识别的径向畸变校正	RDCFace	去畸变		ResNet
2020	arXiv	从深邃的直线中校正鱼眼畸变	LaRecNet	畸变系数	PyTorch	ResNet
2020	CVPR	从单个视角进行3D预测时的高度和垂直度不变性	Baradad等	内参+外参	PyTorch	CNNs
2020	CVPR	玻璃板究竟揭示了关于相机标定的哪些信息？	Zheng等	内参+外参		CNNs
2020	ECCV	野外环境中的单视角计量	Zhu等	内参+外参	PyTorch	CNNs + PointNet
2020	CVPR	深度快门展开网络	DeepUnrollNet	去畸变	PyTorch	FCN
2020	RAL	RGGNet：通过几何深度学习和生成模型实现的容差感知激光雷达-相机在线校准	RGGNet	相机+激光雷达	Tensorflow	ResNet
2020	IROS	CalibRCNN：通过递归卷积神经网络和几何约束校准相机与激光雷达	CalibRCNN	相机+激光雷达	Tensorflow	RNN
2020	ICRA	通过传感器语义信息实现的在线相机-激光雷达校准	SSI-Calib	相机-激光雷达	Tensorflow	CNNs
2020	arXiv	SOIC：用于激光雷达和相机的语义在线初始化与校准	SOIC	相机-激光雷达	-	ResNet+PointRCNN
2020	ICPR	NetCalib：一种基于深度学习的新型激光雷达-相机自动校准方法	NetCalib	相机-激光雷达	PyTorch	CNNs
2021	TCI	利用单目深度估计进行立体自校准的在线训练	StereoCaliNet	外参	PyTorch	U-Net
2021	ICCV	CTRL-C：带线条分类的相机校准TRansformer	CTRL-C	内参+外参	PyTorch	Transformer
2021	ICCVW	深度单鱼眼图像相机校准，适用于视野超过180度的投影	Wakai等	内参+外参		DenseNet
2021	TIP	一种用于畸变校正的深度序数畸变估计方法	OrdianlDistortion	畸变系数	TensorFlow	CNNs
2021	TCSVT	重新审视极坐标系下的径向畸变校正：一种全新且高效的学习视角	PolarRecNet	去畸变	PyTorch	VGG + U-Net
2021	PRL	基于DQN的渐进式鱼眼图像矫正	DQN-RecNet	去畸变	PyTorch	VGG
2021	CVPR	利用深度结构化模型进行实用的广角人像矫正	Tan等	去畸变	PyTorch	U-Net
2021	CVPR	利用外观流进行的渐进式互补网络，用于鱼眼图像矫正	PCN	去畸变	PyTorch	U-Net
2021	ICCV	用于训练畸变感知桶形畸变校正模型的多级课程	DaRecNet	去畸变	TensorFlow	U-Net
2021	CVPR	用于多模态图像对齐的深度Lucas-Kanade同构	DLKFM	投影矩阵	TensorFlow	Siamese-Net
2021	ICCV	LocalTrans：用于跨分辨率同构估计的多尺度局部变压器网络	LocalTrans	投影矩阵	PyTorch	Transformer
2021	ICCV	利用子空间投影进行无监督深度同构估计的运动基学习	BasesHomo	投影矩阵	PyTorch	ResNet
2021	ICIP	利用可扩展压缩网络实现快速且精确的同构估计	ShuffleHomoNet	投影矩阵	TensorFlow	ShuffleNet
2021	TCSVT	基于深度感知的多网格深度同构估计，结合上下文相关性	DAMG-Homo	投影矩阵	TensorFlow	CNNs
2021	BMVC	一种利用自注意力MobileNet的智能手机简单图像倾斜校正方法	SA-MobileNet	外参	TensorFlow	MobileNet
2021	ICCV	SPEC：利用估计的相机在野外“看见”人们	SPEC	内参+外参	PyTorch	ResNet
2021	CVPR	利用方向性学习的宽基线相对相机姿态估计	DirectionNet	外参	TensorFlow	U-Net
2021	CVPR	迈向动态场景中的滚动快门校正与去模糊	JCD	去畸变	PyTorch	FCN
2021	CVPRW	LCCNet：利用成本体积网络实现激光雷达与相机的自校准	LCCNet	相机+激光雷达	PyTorch	CNNs
2021	Sensors	CFNet：利用校准流网络实现激光雷达-相机配准	CFNet	相机+激光雷达	PyTorch	FCN
2021	ICCV	反转滚动快门相机：将滚动快门图像转化为高帧率的全局快门视频	Fan等	畸变	PyTorch	U-Net
2021	ICCV	SUNet：用于滚动快门校正的对称去畸变网络	SUNet	畸变	PyTorch	DenseNet+ResNet
2021	IROS	SemAlign：无标注的相机-激光雷达校准，采用语义对齐损失	SemAlign	相机-激光雷达	PyTorch	CNNs
2022	CVPR	深度消失点检测：几何先验让数据集的变化变得微不足道	DVPD	外参	PyTorch	CNNs
2022	ICRA	基于视频的自监督相机自校准	Fang等	内参+外参	PyTorch	CNNs
2022	ICASSP	通过相机投影损失进行相机标定	CPL	内参+外参	TensorFlow	Inception-V3
2022	CVPR	迭代深度同构估计	IHN	投影矩阵	PyTorch	Siamese-Net
2022	CVPR	无监督同构估计，结合共面性感知的GAN	HomoGAN	投影矩阵	PyTorch	GANs
2022	CVPR	基于多尺度转换器的半监督广角人像矫正	SS-WPC	去畸变	PyTorch	Transformer
2022	CVPR	学习用于现实世界滚动快门校正的自适应扭曲	AW-RSC	去畸变		CNNs
2022	CVPR	EvUnroll：基于神经形态事件的滚动快门图像校正	EvUnroll	去畸变	PyTorch	U-Net
2022	CVPR	学习用于相机定位的场景地标检测	Do等	外参	PyTorch	ResNet
2022	CVPR	DiffPoseNet：直接可微的相机姿态估计	DiffPoseNet	外参	PyTorch	CNNs + LSTM
2022	CVPR	SceneSqueezer：学习为相机重新定位压缩场景	SceneSqueezer	外参	PyTorch	Transformer
2022	arXiv	FishFormer：基于环状切分的变压器，用于鱼眼矫正，并探索效能域	FishFormer	去畸变	PyTorch	Transformer
2022	CVPR	通过渲染与比较估计焦距和物体姿态	FocalPose	内参+外参	PyTorch	CNNs
2022	arXiv	DXQ-Net：利用质量感知流动实现的可微激光雷达-相机外参校准	DXQ-Net	相机+激光雷达	PyTorch	CNNs + RNNs
2022	ITSC	SST-Calib：同时实现激光雷达与相机的空间-时间参数校准	SST-Calib	相机+激光雷达	PyTorch	CNNs
2022	IROS	基于学习的相机校准框架，兼具畸变校正与高精度特征检测	CCS-Net	去畸变	PyTorch	UNet
2022	TIP	SIR：通过多种不同镜头“看见”同一场景，实现自监督图像矫正	SIR	去畸变	PyTorch	ResNet
2022	TIV	ATOP：一种以注意为导向的优化方法，用于通过跨模态对象匹配实现激光雷达-相机自动校准	ATOP	相机+激光雷达		CNNs
2022	ICRA	FusionNet：基于层次化点-像素融合的激光雷达与相机粗细校准网络	FusionNet	相机+激光雷达	PyTorch	CNNs+PointNet
2022	TIM	基于关键点的激光雷达-相机在线校准，采用稳健的几何网络	RGKCNet	相机+激光雷达	PyTorch	CNNs+PointNet
2022	ECCV	重新思考通用相机模型，用于深度单张图像相机标定，以恢复旋转和鱼眼畸变	GenCaliNet	内参+外参+畸变系数		DenseNet
2022	PAMI	内容感知的无监督深度同构估计及其拓展	Liu等	投影矩阵	PyTorch	ResNet

🏗️数据集

名称	发布版本	真实/合成	图像/视频	目标	数据集
KITTI	CVPR	真实	视频	基础版	数据集
MS-COCO	ECCV	真实	图像	基础版	数据集
SUN360	CVPR	真实	图像	基础版	数据集
Places2	PAMI	真实	图像	基础版	数据集
CelebA	ICCV	真实	图像	基础版	数据集
1DSfM	ECCV	真实	图像	焦距	数据集
剑桥地标	ICCV	真实	视频	外参	数据集
HLW	BMVC	真实	图像	地平线线	数据集
YUD	ECCV	真实	图像	消失点	数据集
ECD	ECCV	真实	图像	消失点	数据集
SU3 线框图	ICCV	合成	图像	消失点	数据集
ScanNet	CVPR	真实	视频	外参	数据集
室内-6	CVPR	真实	图像	外参	数据集
DeepVP	ICRA	真实	图像	消失点	数据集
CAHomo	ECCV	真实	视频	单应矩阵	数据集
MHN	CVPR	真实	视频	单应矩阵	数据集
UDIS	TIP	真实	视频	单应矩阵	数据集
Carla-RS	CVPR	合成	视频	RS 畸变	数据集
Fastec-RS	CVPR	合成	视频	RS 畸变	数据集
BS-RSC	CVPR	真实	视频	RS 畸变	数据集
GEV-RS	CVPR	真实	视频	RS 畸变	数据集
LMS	ICASSP	两者	视频	径向畸变	数据集
SS-WPC	CVPR	真实	图像	径向畸变	数据集

📜许可证

本调查与基准测试仅面向学术研究用途提供。

📚引用格式

@article{kang2023deep,
作者 = {Kang Liao and Lang Nie and Shujuan Huang and Chunyu Lin and Jing Zhang and Yao Zhao and Moncef Gabbouj and Dacheng Tao},
标题 = {深度学习在相机标定及更广泛领域的应用：一项综述},
年份 = {2023},
期刊 = {arXiv:2303.10559}
}

🚩中文手册

导读链接

🚀使用我们调查的项目与课程

• 相机标定与姿态估计——由美国伦斯勒理工学院的季强教授主讲，课程为ECSE 4961/6650 计算机视觉。

📭联系方式

kang.liao@ntu.edu.sg

Awesome-Deep-Camera-Calibration 快速上手指南

Awesome-Deep-Camera-Calibration 并非一个单一的可执行软件包，而是一个汇集了基于深度学习的相机标定方法、数据集、基准测试（Benchmark）及综述论文的资源库。本指南将帮助你快速获取核心资源、配置环境并运行相关的基准代码。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04/20.04) 或 macOS。Windows 用户建议使用 WSL2。
• Python: 版本 3.7 或更高。
• 深度学习框架: PyTorch (大多数现代方法的首选) 或 TensorFlow (部分早期方法)。
• 硬件: 推荐使用 NVIDIA GPU (CUDA 支持) 以加速模型训练和推理。
• 前置依赖:
  • git: 用于克隆仓库。
  • pip 或 conda: 用于管理 Python 包。
  • 基础视觉库: opencv-python, numpy, scipy, matplotlib。

安装步骤

1. 克隆项目仓库

首先，将资源库克隆到本地。国内用户可使用 Gitee 镜像（如有）或通过代理加速 GitHub 访问。

git clone https://github.com/KangLiao929/Awesome-Deep-Camera-Calibration.git
cd Awesome-Deep-Camera-Calibration

2. 创建虚拟环境

建议使用 Conda 创建独立的虚拟环境以避免依赖冲突。

conda create -n deep_calib python=3.8
conda activate deep_calib

3. 安装基础依赖

安装通用的计算机视觉和数据处理库。

# 推荐使用国内镜像源 (如清华源) 加速安装
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple opencv-python numpy scipy matplotlib pandas tqdm

4. 安装深度学习框架

根据你的显卡驱动版本选择安装 PyTorch 或 TensorFlow。以下为 PyTorch (CUDA 11.8) 的安装示例：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

5. 获取基准测试数据 (Benchmark)

该项目提供了构建的基准测试数据集，包含多样化的图像/视频及精确的真值（Ground Truth）。

• 查看详细说明: 请参阅 Benchmark/readme.md 文件获取最新的数据集下载链接。
• 下载数据: 通常数据集托管在 Google Drive 或 Baidu Netdisk。下载后解压至项目目录下的 data/ 文件夹。

# 示例：创建数据目录
mkdir -p data/benchmark
# 请手动下载数据集并放入上述目录，具体链接见 Benchmark/readme.md

基本使用

由于本项目是方法集合，具体的“使用”通常指复现列表中某一种算法或评估基准。以下以加载并查看基准数据结构为例，展示如何开始工作。

1. 浏览方法列表

打开根目录下的 README.md，在 Methods 表格中查找你感兴趣的算法（例如 DeepCalib, PoseNet, UprightNet 等）。每个条目都提供了原始论文链接和代码库链接。

2. 运行基准数据加载示例

假设你已经下载了基准数据，可以使用以下 Python 脚本快速验证数据格式并读取一张标定样本（需根据实际数据结构微调路径）：

import cv2
import numpy as np
import os
import json

# 配置数据路径
DATA_ROOT = "data/benchmark"
IMAGE_PATH = os.path.join(DATA_ROOT, "images", "sample_001.jpg")
LABEL_PATH = os.path.join(DATA_ROOT, "labels", "sample_001.json")

def load_calibration_sample(img_path, label_path):
    # 读取图像
    if not os.path.exists(img_path):
        print(f"错误：未找到图像文件 {img_path}")
        return
    
    image = cv2.imread(img_path)
    
    # 读取标定真值 (通常为内参、外参或畸变系数)
    if not os.path.exists(label_path):
        print(f"错误：未找到标签文件 {label_path}")
        return
        
    with open(label_path, 'r') as f:
        ground_truth = json.load(f)
    
    print("=== 样本信息 ===")
    print(f"图像尺寸：{image.shape}")
    print(f"标定参数：{ground_truth}")
    
    # 简单可视化 (例如绘制主点)
    if 'principal_point' in ground_truth:
        cx, cy = ground_truth['principal_point']
        cv2.circle(image, (int(cx), int(cy)), 5, (0, 255, 0), -1)
        cv2.imshow("Calibration Sample", image)
        cv2.waitKey(0)
        cv2.destroyAllWindows()

# 执行加载
if __name__ == "__main__":
    # 注意：请确保已下载真实数据并修改上述路径为有效路径
    # 此处仅为逻辑演示
    print("请确保已按照 Benchmark/readme.md 下载数据并更新脚本中的路径。")
    # load_calibration_sample(IMAGE_PATH, LABEL_PATH)

3. 复现特定算法

要使用具体的标定模型（如 DeepCalib）：

1. 点击 README 中该方法的 Title 或 Abbreviation 链接跳转到原始代码仓库。
2. 按照该独立仓库的说明安装其特定依赖。
3. 将本项目的 Benchmark 数据作为输入进行测试。

提示: 本项目中的 Novel Calibration Representations 章节介绍了最新的几何场表示方法（如 Perspective Field, Camera Rays），适合希望改进传统标定目标函数的研究者参考。