带有不确定性的边界框回归用于精确目标检测

GitHub - yihui-he/KL-Loss：带有不确定性的边界框回归用于精确目标检测（CVPR'19）

CVPR 2019 开放获取资源库

CVPR 2019 [演示视频（YouTube）]

Yihui He、Chenchen Zhu、Jianren Wang、Marios Savvides、Xiangyu Zhang，卡内基梅隆大学与旷视科技有限公司。

https://www.youtube.com/embed/bcGtNdTzdkc

目录

1. 引用
2. 安装
3. 测试
4. 训练
5. PyTorch 重实现
6. 常见问题解答

大规模目标检测数据集（如 MS-COCO）试图尽可能清晰地定义真实边界框。然而，我们观察到在标注边界框时仍然存在模糊性。在本文中，我们提出了一种新颖的边界框回归损失函数，用于同时学习边界框变换和定位方差。我们的损失函数极大地提高了多种架构的定位精度，且几乎不增加额外计算量。通过学习到的定位方差，我们可以在非极大值抑制（NMS）过程中合并相邻的边界框，从而进一步提升定位性能。在 MS-COCO 数据集上，我们将 VGG-16 Faster R-CNN 的平均精度（AP）从 23.6% 提升至 29.1%。更重要的是，对于 ResNet-50-FPN Mask R-CNN，我们的方法分别将 AP 和 AP90 提高了 1.8% 和 6.2%，显著优于先前最先进的边界框精炼方法。

引用

如果您在研究中发现此代码有用，请考虑引用：

@InProceedings{klloss,
  author = {He, Yihui and Zhu, Chenchen and Wang, Jianren and Savvides, Marios and Zhang, Xiangyu},
  title = {Bounding Box Regression With Uncertainty for Accurate Object Detection},
  booktitle = {IEEE 计算机视觉与模式识别会议（CVPR）},
  month = {六月},
  year = {2019}
}

安装

请参阅 [INSTALL.md](INSTALL.md) 中关于 Caffe2 和 Detectron 的安装说明。

在安装 cocoapi 时，请使用 我的分支，以获得 AP80 和 AP90 分数。

测试

无 Var 投票推理（8 GPU）：

python2 tools/test_net.py -c configs/e2e_faster_rcnn_R-50-FPN_2x.yaml

您将得到：

 平均精度  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.385
 平均精度  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.578
 平均精度  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.412
 平均精度  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.209
 平均精度  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.412
 平均精度  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.515
 平均召回率     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.323
 平均召回率     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.499
 平均召回率     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.522
 平均召回率     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.321
 平均召回率     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.553
 平均召回率     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.680
 平均精度  (AP) @[ IoU=0.60      | area=   all | maxDets=100 ] = 0.533
 平均精度  (AP) @[ IoU=0.70      | area=   all | maxDets=100 ] = 0.461
 平均精度  (AP) @[ IoU=0.80      | area=   all | maxDets=100 ] = 0.350
 平均精度  (AP) @[ IoU=0.85      | area=   all | maxDets=100 ] = 0.269
 平均精度  (AP) @[ IoU=0.90      | area=   all | maxDets=100 ] = 0.154
 平均精度  (AP) @[ IoU=0.95      | area=   all | maxDets=100 ] = 0.032

带 Var 投票的推理：

python2 tools/test_net.py -c configs/e2e_faster_rcnn_R-50-FPN_2x.yaml STD_NMS True

您将得到：

 平均精度  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.392
 平均精度  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.576
 平均精度  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.425
 平均精度  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.212
 平均精度  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.417
 平均精度  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.526
 平均召回率     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.324
 平均召回率     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.528
 平均召回率     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.564
 平均召回率     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.346
 平均召回率     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.594
 平均召回率     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.736
 平均精度  (AP) @[ IoU=0.60      | area=   all | maxDets=100 ] = 0.536
 平均精度  (AP) @[ IoU=0.70      | area=   all | maxDets=100 ] = 0.472
 平均精度  (AP) @[ IoU=0.80      | area=   all | maxDets=100 ] = 0.363
 平均精度  (AP) @[ IoU=0.85      | area=   all | maxDets=100 ] = 0.281
 平均精度  (AP) @[ IoU=0.90      | area=   all | maxDets=100 ] = 0.165
 平均精度  (AP) @[ IoU=0.95      | area=   all | maxDets=100 ] = 0.037

训练

python2 tools/train_net.py -c configs/e2e_faster_rcnn_R-50-FPN_2x.yaml

PyTorch 重实现

Stronger-yolo-pytorch：yolov3 + KL-loss

常见问题解答

请创建一个 新问题。

---

Detectron 说明文档

KL-Loss 快速上手指南

KL-Loss 是一种用于目标检测的边界框回归损失函数，通过引入不确定性（Uncertainty）学习定位方差，显著提升了检测精度。本项目基于 Caffe2 和 Detectron 框架实现。

环境准备

本工具依赖 Caffe2 和 Detectron 框架，且主要基于 Python 2 开发。

• 操作系统: Linux (推荐 Ubuntu 16.04+)
• Python 版本: Python 2.7
• 核心依赖:
  • Caffe2 (需支持 GPU)
  • Detectron (Facebook AI Research 的目标检测库)
  • CUDA & cuDNN
• 数据集: MS-COCO (需预先下载并配置)

注意：由于该项目较旧（CVPR 2019），官方未提供 PyTorch 原生实现（虽有第三方复现版），若要运行此官方仓库，请务必搭建好 Caffe2 + Detectron 环境。

安装步骤

1. 安装 Caffe2 和 Detectron

请参考项目自带的 [INSTALL.md](INSTALL.md) 文件完成 Caffe2 和 Detectron 的基础安装。确保 detectron 模块可在 Python 中正常导入。

2. 安装定制版 COCO API

为了获取 AP80 和 AP90 等特定评估指标，必须使用作者提供的 fork 版本安装 cocoapi，而非官方版本。

# 克隆作者定制的 cocoapi
git clone https://github.com/yihui-he/cocoapi.git
cd cocoapi/PythonAPI

# 编译并安装
make
python2 setup.py install --user

3. 配置项目

将本项目克隆到本地，并确保 Detectron 能正确找到配置文件路径。

git clone https://github.com/yihui-he/KL-Loss.git
cd KL-Loss
# 确保 configs 目录位于 Detectron 可识别的路径下，或设置相应环境变量

基本使用

以下命令默认使用 8 张 GPU 进行推理或训练。请根据实际硬件情况调整。

1. 模型测试 (Testing)

方式 A：标准推理 (不使用 Var Voting) 运行 Faster R-CNN (ResNet-50-FPN) 进行基础测试：

python2 tools/test_net.py -c configs/e2e_faster_rcnn_R-50-FPN_2x.yaml

方式 B：启用 Var Voting 推理 (推荐) 利用学习到的定位方差合并相邻框，进一步提升精度：

python2 tools/test_net.py -c configs/e2e_faster_rcnn_R-50-FPN_2x.yaml STD_NMS True

2. 模型训练 (Training)

使用 MS-COCO 数据集开始训练：

python2 tools/train_net.py -c configs/e2e_faster_rcnn_R-50-FPN_2x.yaml

提示：训练前请确保已在 configs 对应的 yaml 文件中正确设置了 COCO 数据集的路径。

3. PyTorch 用户替代方案

如果您希望使用 PyTorch 框架，作者提供了结合 YOLOv3 的复现版本，可访问： Stronger-yolo-pytorch