亮点

• SparseInst提出了一种全新的目标表示方法——实例激活图（IAM），能够自适应地突出显示用于识别的目标信息区域。
• SparseInst是一个简单、高效且完全基于卷积的框架，无需非极大值抑制（NMS）或排序操作，部署起来非常方便！
• SparseInst在速度与精度之间取得了良好的平衡，例如，在输入分辨率为608×608时，可达到37.9 AP和40 FPS。

更新

本项目仍在积极开发中，请持续关注！ ☕

• [2022-10-31]: 我们发布了使用CSP-DarkNet53主干网络的模型及权重。该主干网络具有很强的基准性能，在推理速度和精度方面都极具竞争力。

• [2022-10-19]: 我们提供了基于MindSpore的实现与推理代码，MindSpore是一款优秀且高效的深度学习框架。感谢Ruiqi Wang的这一贡献！

• [2022-8-9]: 我们提供了FLOPs计数器get_flops.py，用于计算SparseInst的FLOPs和参数量。此次更新还包括一些错误修复。

• [2022-7-17]: 更快🚀：SparseInst现在支持以FP16格式进行训练和推理。使用FP16推理可将速度提升30%。更稳健：为了提高数值稳定性，尤其是在导出为ONNX格式时，我们用Softmax替换了原来的Sigmoid + Norm。更易用：我们提供了脚本，用于将SparseInst导出为ONNX模型。

• [2022-4-29]: 我们修复了关于可视化demo.py的常见问题，例如ValueError: GenericMask cannot handle ...。

• [2022-4-7]: 我们提供了用于图像可视化与推理的demo代码。此外，我们还为SparseInst增加了更多主干网络，包括ResNet-101、CSPDarkNet以及PvTv2。我们仍在继续支持更多主干网络。

• [2022-3-25]: 我们正式发布了SparseInst的代码和模型！

概述

SparseInst是一种概念新颖、高效且完全基于卷积的实时实例分割框架。 与传统的区域框或锚点（中心点）不同，SparseInst采用一组稀疏的实例激活图作为目标表示形式，用于突出显示每个前景目标的信息区域。 随后，它根据这些突出显示的区域聚合特征，从而获得实例级别的特征，用于识别和分割。 通过二部匹配机制，实例激活图以一对一的方式预测目标，从而避免了后处理中的非极大值抑制（NMS）。得益于这种简单而有效的实例激活图设计，SparseInst具有极快的推理速度，在COCO数据集上可达到40 FPS和37.9 AP（NVIDIA 2080Ti），在速度和精度方面均显著优于同类方法。

模型

我们提供了两种版本的 SparseInst，即基础 IAM（3×3 卷积）和分组 IAM（简称 G-IAM），它们使用不同的主干网络。所有模型均在 MS-COCO train2017 数据集上进行训练。

快速模型

模型	主干网络	输入尺寸	数据增强	APval	AP	FPS	权重
SparseInst	R-50	640	✘	32.8	33.2	44.3	模型
SparseInst	R-50-vd	640	✘	34.1	34.5	42.6	模型
SparseInst (G-IAM)	R-50	608	✘	33.4	34.0	44.6	模型
SparseInst (G-IAM, Softmax)	R-50	608	✘	33.6	-	44.6	模型
SparseInst (G-IAM)	R-50	608	✓	34.2	34.7	44.6	模型
SparseInst (G-IAM)	R-50-DCN	608	✓	36.4	36.8	41.6	模型
SparseInst (G-IAM)	R-50-vd	608	✓	35.6	36.1	42.8	模型
SparseInst (G-IAM)	R-50-vd-DCN	608	✓	37.4	37.9	40.0	模型
SparseInst (G-IAM)	R-50-vd-DCN	640	✓	37.7	38.1	39.3	模型

使用其他主干网络的 SparseInst

模型	主干网络	输入尺寸	APval	AP	FPS	权重
SparseInst (G-IAM)	CSPDarkNet	640	35.1	-	-	模型

较大模型

模型	主干网络	输入尺寸	数据增强	APval	AP	FPS	权重
SparseInst (G-IAM)	R-101	640	✘	34.9	35.5	-	模型
SparseInst (G-IAM)	R-101-DCN	640	✘	36.4	36.9	-	模型

使用视觉Transformer的 SparseInst

模型	主干网络	输入尺寸	数据增强	APval	AP	FPS	权重
SparseInst (G-IAM)	PVTv2-B1	640	✘	35.3	36.0	33.5 (48.9↡)	模型
SparseInst (G-IAM)	PVTv2-B2-li	640	✘	37.2	38.2	26.5	模型

^↡: 在 RTX 3090 上测量。

注：

• 我们将继续添加更多模型，包括更高效的卷积网络、视觉Transformer以及用于高性能和高速度的大模型，请持续关注 😁!
• 推理速度是在未指定情况下使用单块 NVIDIA 2080Ti 测量的。
• 我们尚未采用 TensorRT 或其他工具来加速 SparseInst 的推理。不过，我们目前正在努力实现，并将尽快为 ONNX、TensorRT、MindSpore、Blade 等框架提供支持！
• AP 表示在 MS-COCO test-dev2017 数据集上评估的 AP 值。
• 输入表示输入图像的短边长度，例如 512×864 和 608×864，我们会保持输入图像的宽高比，且长边不超过 864。
• 推理速度可能会因不同机器（如 2080 Ti）和不同版本的 detectron（我们主要使用 v0.3）而略有变化。如果变化较大，例如超过 5ms，请随时联系我们。
• 对于 aug（数据增强），我们仅采用 detectron2 提供的简单随机裁剪（裁剪尺寸：[384, 600]）。
• 我们默认采用 weight decay=5e-2，这与原始论文略有不同。
• [百度网盘上的权重]：我们也在百度网盘上提供了训练好的模型：分享链接（提取码：lkdo）。

安装与先决条件

本项目基于优秀的框架 detectron2 构建，因此您需要先安装 detectron2。更多详细信息请参阅 官方安装指南。

更新： SparseInst 在 detectron2-v0.6 上运行良好。

注意： 此前，我们主要使用 detectron2 的 v0.3 版本来进行实验和评估。此外，我们也对最新版本 v0.6 进行了测试。如果您在更高版本的 detectron2 中发现任何错误或不兼容问题，请随时提交 issue！

安装 detectron2：

git clone https://github.com/facebookresearch/detectron2.git
# 如果切换到特定版本，例如 v0.3（推荐）或 v0.6
git checkout tags/v0.6
# 构建 detectron2
python setup.py build develop

开始使用

🔥 使用 FP16 的 SparseInst

使用 FP16 的 SparseInst 可以使推理速度提升 30%，并显著节省训练内存。下表提供了关于内存、推理速度和训练速度的一些对比。

FP16	训练内存（log）	训练内存（nvidia-smi）	训练速度	推理速度
✘	6.0G	10.5G	0.8690s/迭代	52.17 FPS
✓	3.9G	6.8G	0.6949s/迭代	67.57 FPS

注：统计数据是在 NVIDIA 3090 上测量的。使用 FP16 后，我们的训练速度更快，并且可以增加批次大小以获得更好的性能。

• 使用 FP16 进行训练：启用 FP16 非常简单，只需将 SOLVER.AMP.ENABLED=True 设置为真，或将此配置添加到配置文件中即可。

python tools/train_net.py --config-file configs/sparse_inst_r50_giam_fp16.yaml --num-gpus 8 SOLVER.AMP.ENABLED True

• 使用 FP16 进行测试：通过添加 --fp16 来启用推理时的 FP16 模式。

python tools/test_net.py --config-file configs/sparse_inst_r50_giam_fp16.yaml --fp16 MODEL.WEIGHTS model_final.pth 

测试 SparseInst

在测试之前，您需要指定配置文件 <CONFIG> 和模型权重 <MODEL-PATH>》。此外，您还可以通过在配置文件或命令行中设置 INPUT.MIN_SIZE_TEST` 来更改输入尺寸。

• [性能评估] 要获取评估结果，例如 COCO 数据集上的 mask AP，您可以运行以下命令：

python tools/train_net.py --config-file <CONFIG> --num-gpus <GPUS> --eval MODEL.WEIGHTS <MODEL-PATH>
# 示例：
python tools/train_net.py --config-file configs/sparse_inst_r50_giam.yaml --num-gpus 8 --eval MODEL.WEIGHTS sparse_inst_r50_giam_aug_2b7d68.pth

• [推理速度] 要获取单个 GPU 设备上的推理速度（FPS），您可以运行以下命令：

python tools/test_net.py --config-file <CONFIG> MODEL.WEIGHTS <MODEL-PATH> INPUT.MIN_SIZE_TEST 512
# 示例：
python tools/test_net.py --config-file configs/sparse_inst_r50_giam.yaml MODEL.WEIGHTS sparse_inst_r50_giam_aug_2b7d68.pth INPUT.MIN_SIZE_TEST 512

注意：

• tools/test_net.py 仅支持 1 个 GPU 和 每批 1 张图像 来测量推理速度。
• 推理时间包括 纯前向传播时间 和 后处理时间。而评估过程、数据加载以及包装器（例如 ImageList）的预处理并不包含在内。
• COCOMaskEvaluator 是基于 COCOEvaluator 修改而来，用于评估仅包含掩码的结果。

FLOPs 和参数

get_flops.py 基于 detectron2 和 fvcore 构建。

python tools/get_flops.py --config-file <CONFIG> --tasks parameter flop

使用 SparseInst 可视化图像

要对您的图像进行推理或可视化分割结果，您可以运行以下命令：

python demo.py --config-file <CONFIG> --input <IMAGE-PATH> --output results --opts MODEL.WEIGHTS <MODEL-PATH>
# 示例
python demo.py --config-file configs/sparse_inst_r50_giam.yaml --input datasets/coco/val2017/* --output results --opt MODEL.WEIGHTS sparse_inst_r50_giam_aug_2b7d68.pth INPUT.MIN_SIZE_TEST 512

• 此外，demo.py 还支持对视频（--video-input）和摄像头（--webcam）进行推理。对于视频推理，您可以参考 issue #9 以避免一些错误。
• --opts 支持对配置文件的修改，例如 INPUT.MIN_SIZE_TEST 512。
• --input 可以是单张图片或一个包含多张图片的文件夹，例如 xxx/*。
• 如果未指定 --output，系统将弹出窗口显示每张图片的可视化结果。
• 降低 confidence-threshold 会显示更多的实例，但也会增加误检率。

训练 SparseInst

要在 COCO 数据集上使用 8 个 GPU 训练 SparseInst 模型，需要 8 个 GPU。如果您只有 4 个 GPU 或 GPU 内存有限，也不必担心，可以通过调整 SOLVER.IMS_PER_BATCH 来减少批次大小，或者降低输入尺寸。如果调整了批次大小，则学习率调度也应根据线性缩放规则进行相应调整。

python tools/train_net.py --config-file <CONFIG> --num-gpus 8 
# 示例
python tools/train_net.py --config-file configs/sparse_inst_r50vd_dcn_giam_aug.yaml --num-gpus 8

自定义训练 SparseInst

1. 我们建议您将自定义数据集转换为 COCO 格式，这样就可以使用默认的数据集映射器和加载器。更多细节请参阅 detectron2 官方指南。
2. 您需要检查 NUM_CLASSES 和 NUM_MASKS 是否需要根据您的场景或任务进行调整。
3. 相应地修改配置。
4. 完成上述步骤后，您就可以轻松地使用 train_net.py 训练 SparseInst。

致谢

SparseInst 基于 detectron2、OneNet、DETR 和 timm 构建，我们衷心感谢这些项目及其贡献者对社区的支持！

引用 SparseInst

如果您在研究或应用中发现 SparseInst 有用，请考虑为我们点个赞 🌟，并使用以下 BibTeX 条目引用 SparseInst。

@inproceedings{Cheng2022SparseInst,
  title     =   {用于实时实例分割的稀疏实例激活},
  author    =   {程天恒、王兴刚、陈绍宇、张文强、张倩、黄畅、张兆祥、刘文宇},
  booktitle =   {IEEE 计算机视觉与模式识别会议（CVPR）论文集},
  year      =   {2022}
}

许可证

SparseInst 采用 MIT 许可证 发布。

SparseInst 快速上手指南

SparseInst 是一个概念新颖、高效且全卷积的实时实例分割框架。它采用稀疏的“实例激活图”（IAM）作为物体表示，无需非极大值抑制（NMS）或排序，即可在速度与精度之间取得极佳平衡（例如在 COCO 数据集上达到 37.9 AP 和 40 FPS）。

环境准备

本项目基于 Detectron2 框架构建。请确保您的环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04+)
• Python: 3.6 - 3.9
• PyTorch: 1.8 或更高版本
• CUDA: 支持 CUDA 的 NVIDIA GPU (测试基于 2080Ti/3090)
• 前置依赖: gcc, g++, opencv-python, scipy 等常规深度学习依赖。

注意：SparseInst 已在 Detectron2 v0.3 和 v0.6 版本上验证通过。

安装步骤

1. 安装 Detectron2

首先克隆 Detectron2 仓库并安装。推荐使用 v0.6 版本（也可根据需求切换至 v0.3）。

git clone https://github.com/facebookresearch/detectron2.git
cd detectron2

# 切换到特定版本 (推荐 v0.6 或 v0.3)
git checkout tags/v0.6

# 编译并安装
python setup.py build develop

国内用户加速建议：如果克隆速度慢，可使用 Gitee 镜像或配置 git 代理。安装 PyTorch 时建议使用清华或阿里镜像源：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

2. 安装 SparseInst

克隆 SparseInst 项目并安装相关依赖（假设已安装 Detectron2）：

git clone https://github.com/hustvl/SparseInst.git
cd SparseInst

# 安装项目依赖 (如果有 requirements.txt)
pip install -r requirements.txt

基本使用

1. 下载预训练模型

从 README 提供的链接下载权重文件（例如 sparse_inst_r50_giam.yaml 对应的模型），并将其放置在项目目录下，或通过配置文件指定路径。

• 百度网盘加速下载: 链接 (提取码: lkdo)
• Google Drive: 参考 README 中的 "Models" 表格链接。

2. 图像推理与可视化

使用提供的 demo.py 脚本对单张图像进行推理并可视化结果。

python demo.py \
    --config-file configs/sparse_inst_r50_giam.yaml \
    --input input.jpg \
    --output output.jpg \
    --opts MODEL.WEIGHTS /path/to/your/model.pth

参数说明：

• --config-file: 模型配置文件路径。
• --input: 输入图片路径（支持通配符处理多张图片）。
• --output: 输出结果保存路径。
• MODEL.WEIGHTS: 预训练权重文件的绝对路径。

3. 导出 ONNX 模型（可选）

若需部署到生产环境，可将模型导出为 ONNX 格式：

python onnx/convert_onnx.py \
    --config-file configs/sparse_inst_r50_giam_softmax.yaml \
    --output sparse_inst.onnx \
    --opts MODEL.WEIGHTS /path/to/your/model.pth

提示：导出 ONNX 时建议使用包含 Softmax 的配置文件（如 sparse_inst_r50_giam_softmax.yaml）以获得更好的数值稳定性。