CenterMask

GitHub
781 122 较难 1 次阅读 6天前NOASSERTION图像
AI 解读 由 AI 自动生成，仅供参考

CenterMask 是一款发表于 CVPR 2020 的开源实时实例分割工具，旨在让计算机不仅能识别图像中的物体，还能精准勾勒出每个物体的轮廓。它解决了传统方法依赖繁琐的“锚框”机制导致速度慢、计算资源消耗大的痛点，成为业界首个基于无锚框（Anchor-Free）架构的单阶段实例分割模型。

该工具特别适合计算机视觉领域的研究人员、算法工程师及开发者使用，尤其是那些需要在保持高精度的同时追求实时推理速度（如视频分析、自动驾驶感知）的应用场景。CenterMask 的核心亮点在于其创新的空间注意力引导掩码分支（SAG-Mask），能自动聚焦关键像素并抑制噪声，从而生成更高质量的分割结果。此外，它还配套推出了改进版的 VoVNetV2 主干网络，通过残差连接和高效挤压 - 激励模块，在速度与精度之间取得了极佳平衡。实验数据显示，CenterMask 在大幅超越 Mask R-CNN 等经典模型性能的同时，运行速度显著提升；其轻量版 CenterMask-Lite 更能在普通显卡上实现超过 35 FPS 的实时处理速度，是构建高效视觉系统的坚实基线。

使用场景

某智慧零售团队正在开发一套实时货架分析系统，需要精准识别并分割监控视频中重叠摆放的商品，以统计库存和陈列合规性。

没有 CenterMask 时

  • 检测精度不足：传统基于锚框（Anchor-based）的模型在处理密集堆叠商品时，常因预设锚框匹配失败导致漏检或边界框漂移。
  • 边缘分割粗糙：现有实时方案（如早期 YOLACT）生成的掩码边缘模糊，难以区分紧挨着的同类商品，导致计数错误。
  • 推理延迟过高：为了追求分割精度引入重型骨干网络，导致单帧处理时间超过 100ms，无法满足视频流实时分析需求。
  • 小目标丢失严重：对于货架远处或尺寸较小的商品，模型缺乏有效的注意力机制，极易被背景噪声干扰而忽略。

使用 CenterMask 后

  • 无锚框精准定位：CenterMask 采用无锚框的一阶段检测架构，直接预测中心点，完美解决了密集商品的重叠检测难题，显著提升召回率。
  • 空间注意力细化掩码：独有的 SAG-Mask 分支利用空间注意力图聚焦关键像素，有效抑制噪声，使商品分割边缘清晰锐利，即使紧贴也能准确分离。
  • 真正的实时性能：结合轻量级 VoVNetV2 骨干网，CenterMask-Lite 在 Titan Xp 上推理速度超 35fps，在保证高精度的同时实现了流畅的实时处理。
  • 小目标感知增强：改进的 eSE 模块缓解了信息丢失问题，大幅提升了模型对远处小件商品的特征提取能力，减少了漏检情况。

CenterMask 通过无锚框设计与空间注意力机制，在保持实时速度的同时，彻底解决了密集场景下实例分割的精度与效率平衡难题。

运行环境要求

操作系统
  • Linux
GPU

必需 NVIDIA GPU，推荐 V100 或 Titan Xp，CUDA 10.0

内存

未说明

依赖
notes该工具基于 maskrcnn-benchmark 和 FCOS 实现。官方提供了针对 Detectron2 重构后的版本链接 (centermask2/vovnet-detectron2)，若需在新版环境运行建议参考相关仓库。模型权重需从 Google Drive 或 Dropbox 手动下载。
python未说明
pytorch==1.1
cuDNN==7.3
maskrcnn-benchmark
fcos
CenterMask hero image

快速开始

CenterMask：实时无锚点实例分割

architecture

摘要

我们提出了一种简单而高效的无锚点实例分割方法，称为 CenterMask。该方法在无锚点单阶段目标检测器 FCOS 的基础上，借鉴 Mask R-CNN 的思路，添加了一个新颖的空间注意力引导掩码分支（SAG-Mask）。通过将 SAG-Mask 分支接入 FCOS 目标检测器，该分支能够在每个检测框上预测一个分割掩码，并利用空间注意力图来聚焦于信息丰富的像素，同时抑制噪声。此外，我们还提出了改进的 VoVNetV2 主干网络，采用了两种有效策略：(1) 使用残差连接缓解更大规模 VoVNet 中的饱和问题；(2) 引入有效的挤压-激励模块（eSE）以解决原始 SE 模块中的信息损失问题。结合 SAG-Mask 和 VoVNetV2，我们设计了 CenterMask 和 CenterMask-Lite 两个模型，分别面向大模型和小模型。CenterMask 在速度显著提升的情况下，超越了所有先前的最先进模型。CenterMask-Lite 也达到了 33.4% 的掩码 AP 和 38.0% 的边界框 AP，分别比 YOLACT 提升了 2.6 和 7.0 个 AP 点，且在 Titan Xp 上的运行速度超过 35 fps。我们希望 CenterMask 和 VoVNetV2 能分别成为实时实例分割任务以及各类视觉任务主干网络的坚实基线。

亮点

  • 首个 无锚点单阶段实例分割。 据我们所知，CenterMask 是首个基于无锚点目标检测的实例分割方法（2019年11月15日）。
  • 迈向实时：CenterMask-Lite。 本工作不仅提供了大规模的 CenterMask，还推出了轻量级的 CenterMask-Lite，能够以实时速度（> 30 fps）运行。
  • 最先进的性能。 CenterMask 在速度远超 Mask R-CNN、TensorMask 和 ShapeMask 的情况下仍保持领先；而 CenterMask-Lite 模型也大幅超越了 YOLACT 或 YOLACT++。
  • 平衡速度与精度的主干网络：VoVNetV2。 VoVNetV2 在性能和速度上均优于 ResNe(X)t 或 HRNet。

更新

  • 正式开源代码库，代码将在重构后发布。（2019年12月5日）
  • 发布代码及 MobileNetV2 和 ResNet 主干模型，详见 [论文]。（2019年12月10日）
  • 上传 VoVNetV2 主干模型。（2020年1月2日）
  • 将 VoVNetV2 主干网络开放给 Detectron2 --> vovnet-detectron2。（2020年1月8日）
  • 上传训练 48 个 epoch 的 CenterMask-Lite 模型，其性能超越了 YOLACT 或 YOLACT++。（2020年1月14日）
  • centermask2 已发布。（2020年2月20日）

模型

运行环境

coco 测试集结果

检测器 主干网络 epoch Mask AP (AP/APs/APm/APl) Box AP (AP/APs/APm/APl) 时间 (ms) GPU 权重
ShapeMask R-101-FPN N/A 37.4/16.1/40.1/53.8 42.2/24.9/45.2/52.7 125 V100 -
TensorMask R-101-FPN 72 37.1/17.4/39.1/51.6 - 380 V100 -
RetinaMask R-101-FPN 24 34.7/14.3/36.7/50.5 41.4/23.0/44.5/53.0 98 V100 -
Mask R-CNN R-101-FPN 24 37.9/18.1/40.3/53.3 42.2/24.9/45.2/52.7 94 V100 -
CenterMask R-101-FPN 24 38.3/17.7/40.8/54.5 43.1/25.2/46.1/54.4 72 V100 链接
CenterMask X-101-FPN 36 39.6/19.7/42.0/55.2 44.6/27.1/47.2/55.2 123 V100 链接
CenterMask V2-99-FPN 36 40.6/20.1/42.8/57.0 45.8/27.8/48.3/57.6 84 V100 链接
YOLACT-400 R-101-FPN 48 24.9/5.0/25.3/45.0 28.4/10.7/28.9/43.1 22 Xp -
CenterMask-Lite MV2-FPN 48 26.7/9.0/27.0/40.9 30.2/14.2/31.9/40.9 20 Xp 链接
YOLACT-550 R-50-FPN 48 28.2/9.2/29.3/44.8 30.3/14.0/31.2/43.0 23 Xp -
CenterMask-Lite V2-19-FPN 48 32.4/13.6/33.8/47.2 35.9/19.6/38.0/45.9 23 Xp 链接
YOLACT-550 R-101-FPN 48 29.8/9.9/31.3/47.7 31.0/14.4/31.8/43.7 30 Xp -
YOLACT-550++ R-50-FPN 48 34.1/11.7/36.1/53.6 - 29 Xp -
YOLACT-550++ R-101-FPN 48 34.6/11.9/36.8/55.1 - 36 Xp -
CenterMask-Lite R-50-FPN 48 32.9/12.9/34.7/48.7 36.7/18.7/39.4/48.2 29 Xp 链接
CenterMask-Lite V2-39-FPN 48 36.3/15.6/38.1/53.1 40.7/22.4/43.2/53.5 28 Xp 链接

请注意，RetinaMask、Mask R-CNN 和 CenterMask 均基于相同的基准代码（maskrcnn-benchmark）实现，所有模型均采用多尺度训练增强进行训练。
我们预计，如果基于 detectron2 实现我们的 CenterMask，其性能将进一步提升。
24/36/48/72 epoch 分别对应于 detectron 中的 2x/3x/4x/6x 训练计划。
延长 CenterMask-Lite 模型的训练时间（从 24 增加到 48 epoch，与 YOLACT 相同）可以显著提升性能，从而进一步扩大其与 YOLACT 甚至 YOLACT++ 之间的性能差距。

coco val2017 结果

检测器 主干网络 epoch Mask AP (AP/APs/APm/APl) Box AP (AP/APs/APm/APl) 时间 (ms) 权重
CenterMask MV2-FPN 36 31.2/14.5/32.8/46.3 35.5/20.6/38.0/46.8 56 链接
CenterMask V2-19-FPN 36 34.7/17.3/37.5/49.6 39.7/24.6/42.7/50.8 59 链接
Mask R-CNN R-50-FPN 24 35.9/17.1/38.9/52.0 39.7/24.0/43.0/50.8 77 链接
CenterMask R-50-FPN 24 36.4/17.3/39.5/52.7 41.2/24.9/45.1/53.0 72 链接
CenterMask V2-39-FPN 24 37.7/17.9/40.8/54.3 42.6/25.3/46.3/55.2 70 链接
Mask R-CNN R-50-FPN 36 36.5/17.9/39.2/52.5 40.5/24.7/43.7/52.2 77 链接
CenterMask R-50-FPN 36 37.0/17.6/39.7/53.8 41.7/24.8/45.1/54.5 72 链接
CenterMask V2-39-FPN 36 38.5/19.0/41.5/54.7 43.5/27.1/46.9/55.9 70 链接
Mask R-CNN R-101-FPN 24 37.8/18.5/40.7/54.9 42.2/25.8/45.8/54.0 94 链接
CenterMask R-101-FPN 24 38.0/18.2/41.3/55.2 43.1/25.7/47.0/55.6 91 链接
CenterMask V2-57-FPN 24 38.5/18.6/41.9/56.2 43.8/26.7/47.4/57.1 76 链接
Mask R-CNN R-101-FPN 36 38.0/18.4/40.8/55.2 42.4/25.4/45.5/55.2 94 链接
CenterMask R-101-FPN 36 38.6/19.2/42.0/56.1 43.7/27.2/47.6/56.7 91 链接
CenterMask V2-57-FPN 36 39.4/19.6/42.9/55.9 44.6/27.7/48.3/57.3 76 链接
Mask R-CNN X-101-32x8d-FPN 24 38.9/19.6/41.6/55.7 43.7/27.6/46.9/55.9 165 链接
CenterMask X-101-32x8d-FPN 24 39.1/19.6/42.5/56.1 44.3/26.9/48.5/57.0 157 链接
CenterMask V2-99-FPN 24 39.6/19.6/43.1/56.9 44.8/27.6/49.0/57.7 106 链接
Mask R-CNN X-101-32x8d-FPN 36 38.6/19.7/41.1/55.2 43.6/27.3/46.7/55.6 165 链接
CenterMask X-101-32x8d-FPN 36 39.1/18.5/42.3/56.4 44.4/26.7/47.7/57.1 157 链接
CenterMask V2-99-FPN 36 40.2/20.6/43.5/57.3 45.6/29.2/49.3/58.8 106 链接

请注意，所有模型均使用**训练时增强（多尺度）进行训练。*
*所有模型的推理时间均在**Titan Xp GPU上测量。
24/36 epoch 分别对应于 detectron 中的 x2/x3 训练计划。

安装

请参阅 INSTALL.md，其中包含源自 maskrcnn-benchmark 的安装说明。

训练

请遵循 maskrcnn-benchmark 指南中的说明。

如果您希望进行多GPU（例如8个）训练，

export NGPUS=8
python -m torch.distributed.launch --nproc_per_node=$NGPUS tools/train_net.py --config-file "configs/centermask/centermask_R_50_FPN_1x.yaml"

评估

请遵循 maskrcnn-benchmark 的说明

首先，您需要下载想要进行推理的权重文件。

例如（CenterMask-Lite-R-50），

多GPU评估 & 测试批次大小为16，
wget https://www.dropbox.com/s/2enqxenccz4xy6l/centermask-lite-R-50-ms-bs32-1x.pth
export NGPUS=8
python -m torch.distributed.launch --nproc_per_node=$NGPUS tools/test_net.py --config-file "configs/centermask/centermask_R_50_FPN_lite_res600_ms_bs32_1x.yaml"   TEST.IMS_PER_BATCH 16 MODEL.WEIGHT centermask-lite-R-50-ms-bs32-1x.pth
对于单GPU评估 & 测试批次大小为1，
wget https://www.dropbox.com/s/2enqxenccz4xy6l/centermask-lite-R-50-ms-bs32-1x.pth
CUDA_VISIBLE_DEVICES=0
python tools/test_net.py --config-file "configs/centermask/centermask_R_50_FPN_lite_res600_ms_bs32_1x.yaml" TEST.IMS_PER_BATCH 1 MODEL.WEIGHT centermask-lite-R-50-ms-bs32-1x.pth

待办事项

  • 训练时增强 + 3倍计划，用于与 detectron2 模型比较
  • ResNet-50 和 ResNeXt-101-32x8d
  • VoVNetV2 主干网络
  • VoVNetV2 主干网络用于 Detectron2
  • CenterMask 在 Detectron2 中的应用
  • 快速演示
  • arXiv 论文更新

性能

可视化 结果表

引用 CenterMask

如果我们的论文对您的研究有所帮助，请在您的出版物中引用我们的论文：

@article{lee2019centermask,
  title={CenterMask: 实时无锚点实例分割},
  author={Lee, Youngwan and Park, Jongyoul},
  booktitle={CVPR},
  year={2020}
}

常见问题

相似工具推荐

openclaw

OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。 这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。 OpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你

★ 349.3k|★★★☆☆|1周前
Agent开发框架图像

stable-diffusion-webui

stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。 无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。

★ 162.1k|★★★☆☆|1周前
开发框架图像Agent

ComfyUI

ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。 这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。 无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。

★ 108.3k|★★☆☆☆|1周前
开发框架图像Agent

gemini-cli

gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。 这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。 它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。

★ 100.8k|★★☆☆☆|1周前
插件Agent图像

LLMs-from-scratch

LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。 该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。 LLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备

★ 90.1k|★★★☆☆|1周前
语言模型图像Agent

Deep-Live-Cam

Deep-Live-Cam 是一款专注于实时换脸与视频生成的开源工具，用户仅需一张静态照片，即可通过“一键操作”实现摄像头画面的即时变脸或制作深度伪造视频。它有效解决了传统换脸技术流程繁琐、对硬件配置要求极高以及难以实时预览的痛点，让高质量的数字内容创作变得触手可及。 这款工具不仅适合开发者和技术研究人员探索算法边界，更因其极简的操作逻辑（仅需三步：选脸、选摄像头、启动），广泛适用于普通用户、内容创作者、设计师及直播主播。无论是为了动画角色定制、服装展示模特替换，还是制作趣味短视频和直播互动，Deep-Live-Cam 都能提供流畅的支持。 其核心技术亮点在于强大的实时处理能力，支持口型遮罩（Mouth Mask）以保留使用者原始的嘴部动作，确保表情自然精准；同时具备“人脸映射”功能，可同时对画面中的多个主体应用不同面孔。此外，项目内置了严格的内容安全过滤机制，自动拦截涉及裸露、暴力等不当素材，并倡导用户在获得授权及明确标注的前提下合规使用，体现了技术发展与伦理责任的平衡。

★ 88.9k|★★★☆☆|1周前
开发框架图像Agent