概率两阶段检测

使用与类别无关的单阶段检测器作为候选区域生成网络的两阶段目标检测器。

概率两阶段检测,
周星毅、弗拉德伦·科尔图恩、菲利普·克雷亨布尔,
arXiv 技术报告 (arXiv 2103.07461)

联系邮箱：zhouxy@cs.utexas.edu。欢迎任何问题或讨论！

摘要

• 两阶段 CenterNet：第一阶段估计目标概率，第二阶段对目标进行条件分类。
• 所得检测器比传统两阶段检测器（所需候选框更少）和单阶段检测器（第一阶段头更轻量）都更快且更准确。
• 我们的最佳模型在 COCO test-dev 上达到了 56.4 mAP。
• 此仓库还包含一个基于 detectron2 的 CenterNet 实现，其精度更高（70 FPS 下为 42.5 mAP），以及一个新的 FPN 版本的 CenterNet（Res50_1x 下为 40.2 mAP）。

主要结果

所有模型均采用多尺度训练，并在单尺度下测试。FPS 测试在 Titan RTX GPU 上进行。 更多模型和详细信息请参阅 MODEL_ZOO。

COCO

模型	COCO 验证集 mAP	FPS
CenterNet-S4_DLA_8x	42.5	71
CenterNet2_R50_1x	42.9	24
CenterNet2_X101-DCN_2x	49.9	8
CenterNet2_R2-101-DCN-BiFPN_4x+4x_1560_ST	56.1	5
CenterNet2_DLA-BiFPN-P5_24x_ST	49.2	38

LVIS

模型	验证集 box mAP
CenterNet2_R50_1x	26.5
CenterNet2_FedLoss_R50_1x	28.3

Objects365

模型	验证集 mAP
CenterNet2_R50_1x	22.6

安装

我们的项目基于 detectron2 开发。请按照官方 detectron2 的 安装说明 进行安装。

我们使用默认的 detectron2 示例脚本。要使用我们的预训练模型对图像文件夹进行推理，请运行：

python demo.py --config-file configs/CenterNet2_R50_1x.yaml --input path/to/image/ --opts MODEL.WEIGHTS models/CenterNet2_R50_1x.pth

基准评估和训练

请参阅 detectron2 的 GETTING_STARTED.md，了解如何运行评估和训练。我们的配置文件位于 configs 目录下，预训练模型则存放在 MODEL_ZOO 中。

许可证

我们的代码采用 Apache 2.0 许可证。其中的 centernet/modeling/backbone/bifpn_fcos.py 来自 AdelaiDet，该库遵循原始的 非商业许可。

引用

如果您认为本项目对您的研究有所帮助，请使用以下 BibTeX 条目：

@inproceedings{zhou2021probablistic,
  title={Probabilistic two-stage detection},
  author={Zhou, Xingyi and Koltun, Vladlen and Kr{\"a}henb{\"u}hl, Philipp},
  booktitle={arXiv preprint arXiv:2103.07461},
  year={2021}
}

CenterNet2 快速上手指南

CenterNet2 是一种基于概率的两阶段目标检测器，它利用类别无关的单阶段检测器作为提议网络（Proposal Network）。相比传统两阶段检测器，它在更少提议下实现了更高的精度和速度；相比单阶段检测器，其第一阶段的头部更轻量。该模型在 COCO test-dev 上最高可达 56.4 mAP。

本项目基于 detectron2 框架开发。

环境准备

在开始之前，请确保满足以下系统要求和依赖：

• 操作系统: Linux (推荐 Ubuntu 18.04+)
• Python: 3.6 - 3.9
• PyTorch: 1.6 或更高版本
• CUDA: 需安装与 PyTorch 版本匹配的 CUDA 驱动
• 前置依赖:
  • 本项目强依赖 detectron2。
  • 国内用户建议使用清华源或阿里源加速 Python 包和 PyTorch 的安装。

安装步骤

1. 安装 detectron2

请严格按照 detectron2 官方安装指南进行操作。国内用户可参考以下加速命令（以 PyTorch 1.8 + CUDA 11.1 为例，具体版本请根据你的环境调整）：

# 设置 pip 镜像源 (可选，加速下载)
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

# 安装 detectron2 (示例命令，请访问 detectron2 官网获取适合你环境的最新命令)
python -m pip install 'git+https://github.com/facebookresearch/detectron2.git'

注意：如果上述 git 安装速度慢，可克隆仓库后本地安装，或查找国内镜像构建的 wheel 包。

2. 克隆 CenterNet2 代码库

git clone https://github.com/xingyizhou/CenterNet2.git
cd CenterNet2

3. 下载预训练模型

从 MODEL_ZOO 下载所需的预训练权重文件（例如 CenterNet2_R50_1x.pth），并放置在项目根目录下的 models/ 文件夹中（若文件夹不存在请自行创建）。

基本使用

安装完成后，你可以直接使用提供的 demo.py 脚本对图片或文件夹进行推理。

以下是最简单的使用示例，使用 ResNet-50 backbone 的预训练模型对指定文件夹内的图片进行检测：

python demo.py --config-file configs/CenterNet2_R50_1x.yaml --input path/to/image/ --opts MODEL.WEIGHTS models/CenterNet2_R50_1x.pth

参数说明：

• --config-file: 指定配置文件路径。
• --input: 输入图片路径或文件夹路径。
• --opts MODEL.WEIGHTS: 指定下载的预训练模型权重文件路径。

运行后，检测结果将默认显示在屏幕上或保存至输出目录（具体行为取决于 demo 脚本的默认配置）。如需进行训练或更复杂的评估，请参考 detectron2 的 GETTING_STARTED.md 文档及本项目的 configs 目录。