FCOS：全卷积单阶段目标检测

本项目托管了用于实现目标检测FCOS算法的代码，该算法在我们的论文中有所介绍：

FCOS：全卷积单阶段目标检测；
Zhi Tian、Chunhua Shen、Hao Chen 和 Tong He；
载于：国际计算机视觉会议（ICCV）论文集，2019年。
arXiv 预印本 arXiv:1904.01355

完整论文可在以下链接获取：https://arxiv.org/abs/1904.01355。

基于 Detectron2 的实现包含在 AdelaiDet 中。

一个在 COCO minival 上以 46FPS 和 40.3 AP 运行的实时模型也可在此处获得 这里。

亮点

• 完全无锚点： FCOS 完全避免了与锚框相关的复杂计算以及所有锚框超参数。
• 更优性能： 这种非常简单的单阶段检测器在性能上远超 Faster R-CNN（AP 为 38.7 对 36.8，使用 ResNet-50）。更多模型和实验结果请参见 此处。
• 更快的训练和推理： 在相同的硬件和骨干网络 ResNet-50-FPN 下，FCOS 的训练时间也比 Faster R-CNN 更短（6.5 小时对 8.8 小时）。FCOS 每张图像的推理时间也比 Faster R-CNN 少 12 毫秒（44 毫秒对 56 毫秒）。
• 最先进性能： 我们基于 ResNeXt-64x4d-101 和可变形卷积的最佳模型，在 COCO test-dev 数据集上实现了 49.0% 的 AP（采用多尺度测试）。

更新

• 基于快速多样（FAD）神经架构搜索的 FCOS 可在 FAD 中找到。（2020年10月30日）
• 用于导出 ONNX 模型 的脚本。（2019年11月21日）
• 新的 NMS（见 #165）使基于 ResNe(x)t 的模型加速高达 30%，基于 MobileNet 的模型加速 40%，且性能完全相同。详情请参见 此处。（2019年10月12日）
• 发布了性能大幅提升的新模型。最佳模型在 COCO test-dev 数据集上采用多尺度测试时，AP 达到 49%。（2019年9月11日）
• 基于 VoVNet 骨干网络的 FCOS 可在 VoVNet-FCOS 中找到。（2019年8月8日）
• 一种利用边界框中心小区域进行训练的技巧，可将 AP 提升近 1 个百分点 如这里所示。（2019年7月23日）
• 基于 HRNet 骨干网络的 FCOS 可在 HRNet-FCOS 中找到。（2019年7月3日）
• 基于 AutoML 搜索的 FPN（R50、R101、ResNeXt101 和 MobileNetV2 骨干）的 FCOS 可在 NAS-FCOS 中找到。（2019年6月30日）
• FCOS 已被实现于 mmdetection 中。特别感谢 @yhcao6 和 @hellock。（2019年5月17日）

必要硬件

我们使用 8 张 Nvidia V100 GPU。
不过，4 张 1080Ti GPU 也可以训练一个完整的基于 ResNet-50-FPN 的 FCOS，因为 FCOS 内存效率很高。

安装

仅用于测试的安装

对于只想在其项目中将 FCOS 用作目标检测器的用户，可以通过 pip 安装。操作步骤如下：

pip install torch  # 如果尚未安装 PyTorch，请先安装
pip install git+https://github.com/tianzhi0549/FCOS.git
# 运行此命令行以进行演示
fcos https://github.com/tianzhi0549/FCOS/raw/master/demo/images/COCO_val2014_000000000885.jpg

有关接口使用的详细信息，请参阅 此处。

完整安装

本 FCOS 实现基于 maskrcnn-benchmark。因此，安装方式与原 maskrcnn-benchmark 相同。

请参阅 INSTALL.md 获取安装说明。您也可以查看 maskrcnn-benchmark 的原始 README.md。

快速演示

安装完成后，您可以按照以下步骤运行快速演示。

# 假设您位于本项目的根目录下，
# 并且如果需要已激活虚拟环境。
wget https://huggingface.co/tianzhi/FCOS/resolve/main/FCOS_imprv_R_50_FPN_1x.pth?download=true -O FCOS_imprv_R_50_FPN_1x.pth
python demo/fcos_demo.py

推理

在 coco minival 分割上的推理命令行：

python tools/test_net.py \
    --config-file configs/fcos/fcos_imprv_R_50_FPN_1x.yaml \
    MODEL.WEIGHT FCOS_imprv_R_50_FPN_1x.pth \
    TEST.IMS_PER_BATCH 4    

请注意：

1. 如果您的模型名称不同，请将 FCOS_imprv_R_50_FPN_1x.pth 替换为您自己的模型文件。
2. 如果遇到内存不足错误，请尝试将 TEST.IMS_PER_BATCH 减少至 1。
3. 如果您想评估其他模型，请将 --config-file 更改为相应配置文件（位于 configs/fcos 中），并将 MODEL.WEIGHT 更改为对应的权重文件。
4. 多 GPU 推理可用，请参阅 #78。
5. 我们通过使用多标签 NMS 改进了后处理效率（见 #165），平均节省了 18 毫秒。下表中的推理指标已相应更新。

模型

为了您的方便，我们提供了以下训练好的模型（更多模型即将推出）。

ResNe(x)t系列：

所有基于 ResNe(x)t 的模型均采用每批次 16 张图像进行训练，并使用冻结的批归一化层（即与 maskrcnn_benchmark 中的模型一致）。

模型	多尺度训练	推理时间 / 图像	AP (minival)	链接
FCOS_imprv_R_50_FPN_1x	否	44ms	38.7	下载
FCOS_imprv_dcnv2_R_50_FPN_1x	否	54ms	42.3	下载
FCOS_imprv_R_101_FPN_2x	是	57ms	43.0	下载
FCOS_imprv_dcnv2_R_101_FPN_2x	是	73ms	45.6	下载
FCOS_imprv_X_101_32x8d_FPN_2x	是	110ms	44.0	下载
FCOS_imprv_dcnv2_X_101_32x8d_FPN_2x	是	143ms	46.4	下载
FCOS_imprv_X_101_64x4d_FPN_2x	是	112ms	44.7	下载
FCOS_imprv_dcnv2_X_101_64x4d_FPN_2x	是	144ms	46.6	下载

请注意，imprv 表示我们在论文表 3 中提到的“改进”。这些几乎无需额外成本的改动总共将性能提升了约 1.5%。因此，我们强烈建议使用它们。以下是我们在最初论文中提出的原始模型。

模型	多尺度训练	推理时间 / 图像	AP (minival)	AP (test-dev)	链接
FCOS_R_50_FPN_1x	否	45ms	37.1	37.4	下载
FCOS_R_101_FPN_2x	是	59ms	41.4	41.5	下载
FCOS_X_101_32x8d_FPN_2x	是	110ms	42.5	42.7	下载
FCOS_X_101_64x4d_FPN_2x	是	113ms	43.0	43.2	下载

MobileNet系列：

我们为基于 MobileNet 的模型更新了批归一化层。如果您希望使用 SyncBN，请安装 PyTorch 1.1 或更高版本。

模型	训练批次大小	多尺度训练	推理时间 / 图像	AP (minival)	链接
FCOS_syncbn_bs32_c128_MNV2_FPN_1x	32	否	26ms	30.9	下载
FCOS_syncbn_bs32_MNV2_FPN_1x	32	否	33ms	33.1	下载
FCOS_bn_bs16_MNV2_FPN_1x	16	否	44ms	31.0	下载

[1] 1x 和 2x 分别表示模型分别训练了 9 万次和 18 万次迭代。
[2] 所有结果均基于单个模型得出，未使用任何测试时的数据增强方法，如多尺度、翻转等。
[3] c128 表示模型在塔层中具有 128 个通道（而非 256 个通道），即 配置文件 中的 MODEL.RESNETS.BACKBONE_OUT_CHANNELS。
[4] dcnv2 表示可变形卷积网络 v2。需要注意的是，对于基于 ResNet 的模型，我们在骨干网络的 c3 到 c5 阶段应用可变形卷积；而对于基于 ResNeXt 的模型，则仅在 c4 和 c5 阶段使用可变形卷积。所有模型都在检测器塔的最后一层使用可变形卷积。
[5] 带有多尺度测试的模型 FCOS_imprv_dcnv2_X_101_64x4d_FPN_2x 在 COCO test-dev 上达到了 49.0% 的 AP。请使用 TEST.BBOX_AUG.ENABLED True 来启用多尺度测试。

训练

以下命令行将在 8 张 GPU 上使用同步随机梯度下降法（SGD）训练 FCOS_imprv_R_50_FPN_1x：

python -m torch.distributed.launch \
    --nproc_per_node=8 \
    --master_port=$((RANDOM + 10000)) \
    tools/train_net.py \
    --config-file configs/fcos/fcos_imprv_R_50_FPN_1x.yaml \
    DATALOADER.NUM_WORKERS 2 \
    OUTPUT_DIR training_dir/fcos_imprv_R_50_FPN_1x
    

请注意：

1. 如果您希望使用较少的 GPU，请将 --nproc_per_node 改为所需的 GPU 数量。其他设置无需更改。总批次大小并不依赖于 nproc_per_node。如果要更改总批次大小，请修改 configs/fcos/fcos_R_50_FPN_1x.yaml 中的 SOLVER.IMS_PER_BATCH。
2. 模型将保存到 OUTPUT_DIR。
3. 如果您想使用其他骨干网络训练 FCOS，请更改 --config-file。
4. 如果您想在自己的数据集上训练 FCOS，请遵循此说明 #54。
5. 目前，使用 8 张 GPU 和 4 张 GPU 进行训练的效果相同。此前性能差距的原因在于我们在计算损失时未同步各 GPU 之间的 num_pos 值。

ONNX

请参阅 onnx 目录，以获取将模型导出为 ONNX 格式的示例。转换后的模型可在此处下载：这里。我们建议您使用 PyTorch >= 1.4.0（或 nightly 版本）以及 torchvision >= 0.5.0（或 nightly 版本）来处理 ONNX 模型。

参与项目

欢迎提交任何拉取请求或问题。

引用

如果本项目对您的研究有所帮助，请考虑在您的出版物中引用我们的论文。BibTeX 引用如下所示。

@inproceedings{tian2019fcos,
  title   =  {{FCOS}: 全卷积式单阶段目标检测},
  author  =  {田志、沈春华、陈浩、何通},
  booktitle =  {国际计算机视觉会议 (ICCV) 论文集},
  year    =  {2019}
}

@article{tian2021fcos,
  title   =  {{FCOS}: 一种简单而强大的无锚点目标检测器},
  author  =  {田志、沈春华、陈浩、何通},
  booktitle =  {IEEE 模式分析与机器智能汇刊 (TPAMI)},
  year    =  {2021}
}

致谢

我们感谢@yqyao提供的中心采样和GIoU技巧。同时，我们也感谢@bearcatt提出的将中心度分支与边界框回归相结合的建议（参见#89）。

许可证

本项目面向学术用途，采用两条款BSD许可证——详情请参阅LICENSE文件。如需商业使用，请联系作者。

FCOS 快速上手指南

FCOS (Fully Convolutional One-Stage Object Detection) 是一种完全无锚框（Anchor-free）的单阶段目标检测算法，具有训练快、推理快且性能优越的特点。

环境准备

• 操作系统: Linux (推荐 Ubuntu)
• GPU: 支持 CUDA 的 NVIDIA GPU (官方使用 8x V100，但 4x 1080Ti 也可训练 ResNet-50 版本)
• Python: 3.6+
• 核心依赖:
  • PyTorch >= 1.2 (推荐 >= 1.4 以支持 ONNX 导出)
  • torchvision >= 0.4.0
  • GCC >= 4.9
  • OpenCV
  • CUDA >= 9.0

注意: 本项目基于 maskrcnn-benchmark 架构，安装前请确保已正确安装对应版本的 PyTorch 和 CUDA 工具包。国内用户建议使用清华或阿里镜像源加速 pip 和 conda 包的下载。

安装步骤

方式一：仅推理安装（推荐快速体验）

如果您只需在项目中调用 FCOS 进行目标检测，无需重新训练，可直接通过 pip 安装：

# 安装 PyTorch (如未安装)
pip install torch

# 安装 FCOS
pip install git+https://github.com/tianzhi0549/FCOS.git

# 运行演示验证安装
fcos https://github.com/tianzhi0549/FCOS/raw/master/demo/images/COCO_val2014_000000000885.jpg

方式二：完整安装（含训练功能）

如需训练模型或修改源码，需从源码编译安装。此过程与 maskrcnn-benchmark 一致：

# 1. 克隆仓库
git clone https://github.com/tianzhi0549/FCOS.git
cd FCOS

# 2. 创建虚拟环境 (可选但推荐)
python -m venv venv
source venv/bin/activate

# 3. 安装依赖
pip install -r requirements.txt

# 4. 编译安装
python setup.py build develop

注：若编译过程中遇到 CUDA 相关错误，请检查 torch.version.cuda 与系统 nvcc --version 是否匹配。

基本使用

1. 下载预训练模型

首先下载官方提供的改进版 ResNet-50 预训练权重：

wget https://huggingface.co/tianzhi/FCOS/resolve/main/FCOS_imprv_R_50_FPN_1x.pth?download=true -O FCOS_imprv_R_50_FPN_1x.pth

(HuggingFace 在国内访问通常较为稳定，如遇网络问题可尝试配置代理)

2. 运行快速演示

在项目根目录下运行以下命令，对示例图片进行检测：

python demo/fcos_demo.py

程序将自动加载默认配置和刚才下载的权重，输出检测结果图像。

3. 执行推理评估

若需在 COCO minival 数据集上进行推理测试：

python tools/test_net.py \
    --config-file configs/fcos/fcos_imprv_R_50_FPN_1x.yaml \
    MODEL.WEIGHT FCOS_imprv_R_50_FPN_1x.pth \
    TEST.IMS_PER_BATCH 4

参数说明：

• MODEL.WEIGHT: 指定您的模型权重文件路径。
• TEST.IMS_PER_BATCH: 每批次处理的图片数。若显存不足（OOM），请将其改为 1。
• --config-file: 如需切换其他骨干网络（如 ResNet-101, MobileNet 等），请更改此处对应的 yaml 配置文件。