AdelaiDet

截至2024年1月，CloudStor服务器已停止服务。模型文件现托管在Hugging Face上：

• https://huggingface.co/ZjuCv/AdelaiDet/tree/main
• https://huggingface.co/tianzhi/AdelaiDet-FCOS/tree/main
• https://huggingface.co/tianzhi/AdelaiDet-CondInst/tree/main
• https://huggingface.co/tianzhi/AdelaiDet-BoxInst/tree/main

AdelaiDet 是一个基于 Detectron2 的开源工具箱，用于多种实例级识别任务。我们团队的所有实例级识别相关工作均在此开源。

截至目前，AdelaiDet 已实现以下算法：

• FCOS
• BlendMask
• MEInst
• ABCNet
• ABCNetv2
• CondInst
• SOLO (mmdet版本)
• SOLOv2
• BoxInst (视频演示)
• DenseCL
• FCPose

模型

COCO目标检测基准，使用FCOS

名称	推理时间	box AP	下载
FCOS_R_50_1x	16 FPS	38.7	模型
FCOS_MS_R_101_2x	12 FPS	43.1	模型
FCOS_MS_X_101_32x8d_2x	6.6 FPS	43.9	模型
FCOS_MS_X_101_32x8d_dcnv2_2x	4.6 FPS	46.6	模型
FCOS_RT_MS_DLA_34_4x_shtw	52 FPS	39.1	模型

更多模型请参见 FCOS 的 README.md。

COCO实例分割基准，使用BlendMask

模型	名称	推理时间	box AP	mask AP	下载
Mask R-CNN	R_101_3x	10 FPS	42.9	38.6
BlendMask	R_101_3x	11 FPS	44.8	39.5	模型
BlendMask	R_101_dcni3_5x	10 FPS	46.8	41.1	模型

更多模型和信息，请参考 BlendMask 的 README.md。

COCO实例分割基准，使用MEInst

名称	推理时间	box AP	mask AP	下载
MEInst_R_50_3x	12 FPS	43.6	34.5	模型

更多模型和信息，请参考 MEInst 的 README.md。

Total_Text结果，使用ABCNet

名称	推理时间	e2e-hmean	det-hmean	下载
v1-totaltext	11 FPS	67.1	86.0	模型
v2-totaltext	7.7 FPS	71.8	87.2	模型

更多模型和信息，请参考 ABCNet 的 README.md。

COCO实例分割基准，使用CondInst

名称	推理时间	box AP	mask AP	下载
CondInst_MS_R_50_1x	14 FPS	39.7	35.7	模型
CondInst_MS_R_50_BiFPN_3x_sem	13 FPS	44.7	39.4	模型
CondInst_MS_R_101_3x	11 FPS	43.3	38.6	模型
CondInst_MS_R_101_BiFPN_3x_sem	10 FPS	45.7	40.2	模型

更多模型和信息，请参考 CondInst 的 README.md。

请注意：

• 所有项目的推理时间均在 NVIDIA 1080Ti 上以批大小为1进行测量。
• AP 均在 COCO2017 验证集上评估，除非另有说明。

安装

首先按照官方指南安装 Detectron2：INSTALL.md。

如果您遇到与 Detectron2 相关的问题，请务必使用 commit id 为 9eb4831 的 Detectron2 版本。

然后通过以下步骤构建 AdelaiDet：

git clone https://github.com/aim-uofa/AdelaiDet.git
cd AdelaiDet
python setup.py build develop

如果您使用 Docker，可以拉取预构建的镜像：

docker pull tianzhi0549/adet:latest

部分项目可能需要特殊设置，请参考各自在 configs 中的 README.md。

快速入门

使用预训练模型进行推理

1. 选择一个模型及其配置文件，例如 fcos_R_50_1x.yaml。
2. 下载模型：wget https://huggingface.co/tianzhi/AdelaiDet-FCOS/resolve/main/FCOS_R_50_1x.pth?download=true -O fcos_R_50_1x.pth
3. 运行示例程序：

python demo/demo.py \
    --config-file configs/FCOS-Detection/R_50_1x.yaml \
    --input input1.jpg input2.jpg \
    --opts MODEL.WEIGHTS fcos_R_50_1x.pth

训练您自己的模型

要使用 train_net.py 训练模型，首先请按照 datasets/README.md 中的说明设置相应的数据集，然后运行以下命令：

OMP_NUM_THREADS=1 python tools/train_net.py \
    --config-file configs/FCOS-Detection/R_50_1x.yaml \
    --num-gpus 8 \
    OUTPUT_DIR training_dir/fcos_R_50_1x

训练完成后，要评估模型，请运行以下命令：

OMP_NUM_THREADS=1 python tools/train_net.py \
    --config-file configs/FCOS-Detection/R_50_1x.yaml \
    --eval-only \
    --num-gpus 8 \
    OUTPUT_DIR training_dir/fcos_R_50_1x \
    MODEL.WEIGHTS training_dir/fcos_R_50_1x/model_final.pth

请注意：

• 配置文件是为 8 卡训练设计的。如果要在不同数量的 GPU 上训练，请修改 --num-gpus 参数。
• 如果需要测量推理时间，请将 --num-gpus 改为 1。
• 默认设置了 OMP_NUM_THREADS=1，这在我们的机器上能获得最佳速度，您可以根据需要进行调整。
• 此快速入门指南适用于 FCOS。如果您使用的是其他项目，请参阅 configs 目录下的相应项目的 README.md 文件。

致谢

作者衷心感谢英伟达、华为诺亚方舟实验室、字节跳动和 Adobe，在过去几年中慷慨捐赠了 GPU 算力。

引用 AdelaiDet

如果您在研究中使用本工具箱，或希望引用此处发布的基线结果，请使用以下 BibTeX 条目：

@misc{tian2019adelaidet,
  author =       {田植、陈浩、王新龙、刘宇亮、沈春华},
  title =        {{AdelaiDet}: 用于实例级识别任务的工具箱},
  howpublished = {\url{https://git.io/adelaidet}},
  year =         {2019}
}

以及相关论文：

@inproceedings{tian2019fcos,
  title     =  {{FCOS}: 全卷积单阶段目标检测},
  author    =  {田植、沈春华、陈浩、何通},
  booktitle =  {国际计算机视觉会议（ICCV）论文集},
  year      =  {2019}
}

@article{tian2021fcos,
  title   =  {{FCOS}: 一种简单而强大的无锚框目标检测器},
  author  =  {田植、沈春华、陈浩、何通},
  journal =  {IEEE 模式分析与机器智能汇刊（TPAMI）},
  year    =  {2021}
}

@inproceedings{chen2020blendmask,
  title     =  {{BlendMask}: 自顶向下结合自底向上实现实例分割},
  author    =  {陈浩、孙坤阳、田植、沈春华、黄永明、严友良},
  booktitle =  {IEEE 计算机视觉与模式识别会议（CVPR）论文集},
  year      =  {2020}
}

@inproceedings{zhang2020MEInst,
  title     =  {用于单次实例分割的掩码编码},
  author    =  {张汝峰、田植、沈春华、尤明宇、严友良},
  booktitle =  {IEEE 计算机视觉与模式识别会议（CVPR）论文集},
  year      =  {2020}
}

@inproceedings{liu2020abcnet,
  title     =  {{ABCNet}: 基于自适应贝塞尔曲线网络的实时场景文本定位},
  author    =  {刘宇亮、陈浩、沈春华、何通、金连文、王良伟},
  booktitle =  {IEEE 计算机视觉与模式识别会议（CVPR）论文集},
  year      =  {2020}
}

@ARTICLE{9525302,
  author={刘宇亮、沈春华、金连文、何通、陈鹏、刘崇宇、陈浩},
  journal={IEEE 模式分析与机器智能汇刊}, 
  title={ABCNet v2: 用于实时端到端文本定位的自适应贝塞尔曲线网络}, 
  year={2021},
  volume={},
  number={},
  pages={1-1},
  doi={10.1109/TPAMI.2021.3107437}
}

@inproceedings{wang2020solo,
  title     =  {{SOLO}: 基于位置的物体分割},
  author    =  {王新龙、孔涛、沈春华、蒋宇宁、李雷},
  booktitle =  {欧洲计算机视觉会议（ECCV）论文集},
  year      =  {2020}
}

@inproceedings{wang2020solov2,
  title     =  {{SOLOv2}: 动态且快速的实例分割},
  author    =  {王新龙、张汝峰、孔涛、李雷、沈春华},
  booktitle =  {神经信息处理系统进展会议（NeurIPS）论文集},
  year      =  {2020}
}

@article{wang2021solo,
  title   =  {{SOLO}: 一种简单的实例分割框架},
  author  =  {王新龙、张汝峰、沈春华、孔涛、李雷},
  journal =  {IEEE 模式分析与机器智能汇刊（TPAMI）},
  year    =  {2021}
}

@article{tian2019directpose,
  title   =  {{DirectPose}: 直接端到端多人姿态估计},
  author  =  {田植、陈浩、沈春华},
  journal =  {arXiv 预印本 arXiv:1911.07451},
  year    =  {2019}
}

@inproceedings{tian2020conditional,
  title     =  {用于实例分割的条件卷积},
  author    =  {田植、沈春华、陈浩},
  booktitle =  {欧洲计算机视觉会议（ECCV）论文集},
  year      =  {2020}
}

@article{CondInst2022Tian,
  title   = {利用条件卷积进行实例分割和全景分割},
  author  = {田植、张博文、陈浩、沈春华},
  journal = {IEEE 模式分析与机器智能汇刊（TPAMI）},
  year    =  {2022}
}

@inproceedings{tian2021boxinst,
  title     =  {{BoxInst}: 基于边界框标注的高性能实例分割},
  author    =  {田植、沈春华、王新龙、陈浩},
  booktitle =  {IEEE 计算机视觉与模式识别会议（CVPR）论文集},
  year      =  {2021}
}

@inproceedings{wang2021densecl,
  title     =  {用于自监督视觉预训练的密集对比学习},
  author    =  {王新龙、张汝峰、沈春华、孔涛、李雷},
  booktitle =  {IEEE 计算机视觉与模式识别会议（CVPR）论文集},
  year      =  {2021}
}

@inproceedings{Mao2021pose,
  title     =  {{FCPose}: 全卷积多人姿态估计，采用动态实例感知卷积},
  author    =  {毛伟安、田植、王新龙、沈春华},
  booktitle =  {IEEE 计算机视觉与模式识别会议（CVPR）论文集},
  year      =  {2021}
}

许可证

本项目面向学术用途，采用两条款 BSD 许可证——详情请参阅 LICENSE 文件。如需商业用途，请联系 Chunhua Shen。

AdelaiDet 快速上手指南

AdelaiDet 是一个基于 Detectron2 的开源工具箱，专注于多种实例级识别任务（如目标检测、实例分割、文本检测等）。本项目集成了 FCOS、BlendMask、SOLOv2、ABCNet 等前沿算法。

注意：截至 2024 年 1 月，原 CloudStor 服务器已停止服务，所有模型文件已迁移至 Hugging Face。

1. 环境准备

在开始之前，请确保满足以下系统要求和依赖：

• 操作系统: Linux (推荐 Ubuntu 18.04+)
• Python: 3.6 - 3.9
• PyTorch: 1.7+ (需与 CUDA 版本匹配)
• CUDA: 建议 10.2 或 11.0+
• 前置依赖: 必须先安装 Detectron2。

安装 Detectron2

请严格按照 Detectron2 官方指南进行安装。为避免兼容性问题，强烈建议使用特定 commit 版本：

# 克隆 detectron2 并切换到指定版本
git clone https://github.com/facebookresearch/detectron2.git
cd detectron2
git checkout 9eb4831f742ae6a13b8edb61d07b619392fb6543

# 安装 (请根据你的 CUDA 版本调整 cu 参数，例如 cu111)
pip install -e 'git+https://github.com/facebookresearch/detectron2.git@9eb4831f742ae6a13b8edb61d07b619392fb6543#egg=detectron2'

如果在国内安装缓慢，可配置 pip 国内镜像源（如清华源）：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -e 'git+https://github.com/facebookresearch/detectron2.git@9eb4831f742ae6a13b8edb61d07b619392fb6543#egg=detectron2'

2. 安装步骤

安装好 Detectron2 后，即可克隆并编译 AdelaiDet：

# 克隆项目
git clone https://github.com/aim-uofa/AdelaiDet.git
cd AdelaiDet

# 编译安装
python setup.py build develop

Docker 用户（可选）

如果你偏好使用 Docker，可以直接拉取预构建的镜像，免去环境配置烦恼：

docker pull tianzhi0549/adet:latest

3. 基本使用

3.1 使用预训练模型进行推理

以下以 FCOS 目标检测模型为例，演示如何对图片进行推理。

第一步：下载模型 模型现已托管在 Hugging Face。你可以使用 wget 下载（国内用户若访问 HF 慢，可尝试通过镜像站或代理下载）：

wget https://huggingface.co/tianzhi/AdelaiDet-FCOS/resolve/main/FCOS_R_50_1x.pth?download=true -O fcos_R_50_1x.pth

第二步：运行推理 准备好输入图片（如 input1.jpg），运行以下命令：

python demo/demo.py \
    --config-file configs/FCOS-Detection/R_50_1x.yaml \
    --input input1.jpg input2.jpg \
    --opts MODEL.WEIGHTS fcos_R_50_1x.pth

注：其他算法（如 BlendMask, SOLOv2, ABCNet 等）只需替换 --config-file 路径和对应的模型权重文件即可，具体配置文件请参考 configs/ 目录下的说明。

3.2 训练自己的模型

在训练前，请确保已按照 Detectron2 的标准格式准备好了数据集（参考 datasets/README.md）。

以下以单节点 8 卡训练 FCOS 为例：

OMP_NUM_THREADS=1 python tools/train_net.py \
    --config-file configs/FCOS-Detection/R_50_1x.yaml \
    --num-gpus 8 \
    OUTPUT_DIR training_dir/fcos_R_50_1x

训练完成后评估模型：

OMP_NUM_THREADS=1 python tools/train_net.py \
    --config-file configs/FCOS-Detection/R_50_1x.yaml \
    --eval-only \
    --num-gpus 8 \
    OUTPUT_DIR training_dir/fcos_R_50_1x \
    MODEL.WEIGHTS training_dir/fcos_R_50_1x/model_final.pth

关键参数说明：

• --num-gpus: 根据实际显卡数量调整。若仅测试推理速度，请设为 1。
• OMP_NUM_THREADS=1: 默认设置以优化 CPU 线程性能，可根据机器情况调整。
• OUTPUT_DIR: 指定模型保存路径。