[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-youngwanLEE--CenterMask":3,"tool-youngwanLEE--CenterMask":62},[4,18,26,35,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,2,"2026-04-10T11:39:34",[14,15,13],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":32,"last_commit_at":41,"category_tags":42,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[43,13,15,14],"插件",{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":10,"last_commit_at":50,"category_tags":51,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[52,15,13,14],"语言模型",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4292,"Deep-Live-Cam","hacksider\u002FDeep-Live-Cam","Deep-Live-Cam 是一款专注于实时换脸与视频生成的开源工具，用户仅需一张静态照片，即可通过“一键操作”实现摄像头画面的即时变脸或制作深度伪造视频。它有效解决了传统换脸技术流程繁琐、对硬件配置要求极高以及难以实时预览的痛点，让高质量的数字内容创作变得触手可及。\n\n这款工具不仅适合开发者和技术研究人员探索算法边界，更因其极简的操作逻辑（仅需三步：选脸、选摄像头、启动），广泛适用于普通用户、内容创作者、设计师及直播主播。无论是为了动画角色定制、服装展示模特替换，还是制作趣味短视频和直播互动，Deep-Live-Cam 都能提供流畅的支持。\n\n其核心技术亮点在于强大的实时处理能力，支持口型遮罩（Mouth Mask）以保留使用者原始的嘴部动作，确保表情自然精准；同时具备“人脸映射”功能，可同时对画面中的多个主体应用不同面孔。此外，项目内置了严格的内容安全过滤机制，自动拦截涉及裸露、暴力等不当素材，并倡导用户在获得授权及明确标注的前提下合规使用，体现了技术发展与伦理责任的平衡。",88924,"2026-04-06T03:28:53",[14,15,13,61],"视频",{"id":63,"github_repo":64,"name":65,"description_en":66,"description_zh":67,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":74,"owner_avatar_url":75,"owner_bio":76,"owner_company":77,"owner_location":78,"owner_email":79,"owner_twitter":80,"owner_website":81,"owner_url":82,"languages":83,"stars":100,"forks":101,"last_commit_at":102,"license":103,"difficulty_score":104,"env_os":105,"env_gpu":106,"env_ram":107,"env_deps":108,"category_tags":115,"github_topics":116,"view_count":32,"oss_zip_url":80,"oss_zip_packed_at":80,"status":17,"created_at":123,"updated_at":124,"faqs":125,"releases":161},8922,"youngwanLEE\u002FCenterMask","CenterMask","[CVPR 2020] CenterMask : Real-Time Anchor-Free Instance Segmentation","CenterMask 是一款发表于 CVPR 2020 的开源实时实例分割工具，旨在让计算机不仅能识别图像中的物体，还能精准勾勒出每个物体的轮廓。它解决了传统方法依赖繁琐的“锚框”机制导致速度慢、计算资源消耗大的痛点，成为业界首个基于无锚框（Anchor-Free）架构的单阶段实例分割模型。\n\n该工具特别适合计算机视觉领域的研究人员、算法工程师及开发者使用，尤其是那些需要在保持高精度的同时追求实时推理速度（如视频分析、自动驾驶感知）的应用场景。CenterMask 的核心亮点在于其创新的空间注意力引导掩码分支（SAG-Mask），能自动聚焦关键像素并抑制噪声，从而生成更高质量的分割结果。此外，它还配套推出了改进版的 VoVNetV2 主干网络，通过残差连接和高效挤压 - 激励模块，在速度与精度之间取得了极佳平衡。实验数据显示，CenterMask 在大幅超越 Mask R-CNN 等经典模型性能的同时，运行速度显著提升；其轻量版 CenterMask-Lite 更能在普通显卡上实现超过 35 FPS 的实时处理速度，是构建高效视觉系统的坚实基线。","# [CenterMask](https:\u002F\u002Farxiv.org\u002Fabs\u002F1911.06667) : Real-Time Anchor-Free Instance Segmentation\n\n\n![architecture](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FyoungwanLEE_CenterMask_readme_65cf018ecdb7.png)\n\n## Abstract\n\nWe propose a simple yet efficient anchor-free instance segmentation, called **CenterMask**, that adds a novel spatial attention-guided mask (SAG-Mask) branch to anchor-free one stage object detector (FCOS) in the same vein with Mask R-CNN. Plugged into the FCOS object detector, the SAG-Mask branch predicts a segmentation mask on each box with the spatial attention map that helps to focus on informative pixels and suppress noise. We also present an improved **VoVNetV2** backbone networks with two effective strategies: (1) residual connection for alleviating the saturation problem of larger VoVNet and (2) effective Squeeze-Excitation (eSE) dealing with the information loss problem of original SE. With SAG-Mask and VoVNetV2, we deign CenterMask and CenterMask-Lite that are targeted to large and small models, respectively. CenterMask outperforms all previous state-of-the-art models at a much faster speed. CenterMask-Lite also achieves 33.4% mask AP \u002F 38.0% box AP, outperforming YOLACT by 2.6 \u002F 7.0 AP gain, respectively, at over 35fps on Titan Xp. We hope that CenterMask and VoVNetV2 can serve as a solid baseline of real-time instance segmentation and backbone network for various vision tasks, respectively. \n\n## Highlights\n- ***First* anchor-free one-stage instance segmentation.** To the best of our knowledge, **CenterMask** is the first instance segmentation on top of anchor-free object detection (15\u002F11\u002F2019).\n- **Toward Real-Time: CenterMask-Lite.**  This works provide not only large-scale CenterMask but also lightweight CenterMask-Lite that can run at real-time speed (> 30 fps).\n- **State-of-the-art performance.**  CenterMask outperforms Mask R-CNN, TensorMask, and ShapeMask at much faster speed and CenterMask-Lite models also surpass YOLACT or YOLACT++ by large margins.\n- **Well balanced (speed\u002Faccuracy) backbone network, VoVNetV2.**  VoVNetV2 shows better performance and faster speed than ResNe(X)t or HRNet.\n\n## Updates\n- Open the official repo and code will be released after refactoring. (05\u002F12\u002F2019)\n- Release code and MobileNetV2 & ResNet backbone models shown in the [[`paper`]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1911.06667). (10\u002F12\u002F2019)\n- Upload the VoVNetV2 backbone models. (02\u002F01\u002F2020)\n- Open VoVNetV2 backbone for [Detectron2](https:\u002F\u002Fgithub.com\u002FyoungwanLEE\u002Fdetectron2\u002Ftree\u002Fvovnet\u002Fprojects\u002FVoVNet) --> [vovnet-detectron2](https:\u002F\u002Fgithub.com\u002FyoungwanLEE\u002Fvovnet-detectron2). (08\u002F01\u002F2020)\n- Upload CenterMask-Lite models trained for 48 epochs outperforming [YOLACT](https:\u002F\u002Farxiv.org\u002Fabs\u002F1904.02689) or [YOLACT++](https:\u002F\u002Farxiv.org\u002Fabs\u002F1912.06218). (14\u002F01\u002F2020)\n- [centermask2](https:\u002F\u002Fgithub.com\u002FyoungwanLEE\u002Fcentermask2) has been released. (20\u002F02\u002F2020)\n## Models\n### Environment\n- V100 or Titan Xp GPU\n- CUDA 10.0 \n- cuDNN7.3 \n- pytorch1.1\n- Implemented on [fcos](https:\u002F\u002Fgithub.com\u002Ftianzhi0549\u002FFCOS) and [maskrcn-benchmark](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fmaskrcnn-benchmark) \n- [GoogleDrive weight download](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1llkxG5lKK7lZZ0W__7u5M5m4Ddf4YIWr?usp=sharing)\n### coco test-dev results\n\n|Detector | Backbone |  epoch |   Mask AP (AP\u002FAPs\u002FAPm\u002FAPl) | Box AP (AP\u002FAPs\u002FAPm\u002FAPl) |  Time (ms) | GPU |Weight |\n|----------|----------|:--------------:|:-------------------:|:------------------------:|:--------------------------:| :---:|:---:|\n| [ShapeMask](https:\u002F\u002Farxiv.org\u002Fabs\u002F1904.03239)     | R-101-FPN   |N\u002FA |            37.4\u002F16.1\u002F40.1\u002F53.8                  | 42.2\u002F24.9\u002F45.2\u002F52.7      | 125| V100| - |\n | [TensorMask](https:\u002F\u002Farxiv.org\u002Fabs\u002F1903.12174)     | R-101-FPN  | 72 |  37.1\u002F17.4\u002F39.1\u002F51.6         | -                  | 380      |V100| - |\n [RetinaMask](https:\u002F\u002Farxiv.org\u002Fabs\u002F1901.03353)    | R-101-FPN   |  24 |    34.7\u002F14.3\u002F36.7\u002F50.5     | 41.4\u002F23.0\u002F44.5\u002F53.0                  | 98  |V100| - |\n| [Mask R-CNN](https:\u002F\u002Farxiv.org\u002Fabs\u002F1703.06870)     | R-101-FPN   | 24 |   37.9\u002F18.1\u002F40.3\u002F53.3       | 42.2\u002F24.9\u002F45.2\u002F52.7                  |  94     |V100| -                          |[link](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Frs1rgl5lupw576a\u002FFRCN-V-57-FPN-2x-norm.pth?dl=1)|\n| **CenterMask**    | R-101-FPN   |    24 |   38.3\u002F17.7\u002F40.8\u002F54.5|     43.1\u002F25.2\u002F46.1\u002F54.4              | **72**      |V100| [link](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002F9w17k9iiihob8vx\u002Fcentermask-R-101-ms-2x.pth?dl=1)|\n| **CenterMask**    | X-101-FPN   |    36 |   39.6\u002F19.7\u002F42.0\u002F55.2|     44.6\u002F27.1\u002F47.2\u002F55.2              | 123      |V100| [link](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Fyrczyb1u49hv05a\u002Fcentermask-X-101-FPN-ms-3x.pth?dl=1)|\n| **CenterMask**    | V2-99-FPN |    36 |   40.6\u002F20.1\u002F42.8\u002F57.0|     45.8\u002F27.8\u002F48.3\u002F57.6              | 84      |V100| [link](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002F99i7ydsz2ngrvu1\u002Fcentermask-V2-99-FPN-ms-3x.pth?dl=1)|\n||\n| [YOLACT-400](https:\u002F\u002Farxiv.org\u002Fabs\u002F1904.02689)     | R-101-FPN   |    48 |    24.9\u002F5.0\u002F25.3\u002F45.0    |         28.4\u002F10.7\u002F28.9\u002F43.1          |  22   | Xp |-|\n| **CenterMask-Lite**    | MV2-FPN   |   48 |  26.7\u002F9.0\u002F27.0\u002F40.9     |    30.2\u002F14.2\u002F31.9\u002F40.9          | **20**      | Xp |[link](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Ffk9m4uqkhrpkqc6\u002Fcentermask-lite-M-v2-bs16-4x.pth?dl=1)|\n||\n| [YOLACT-550](https:\u002F\u002Farxiv.org\u002Fabs\u002F1904.02689)     | R-50-FPN   |   48 |    28.2\u002F9.2\u002F29.3\u002F44.8    | 30.3\u002F14.0\u002F31.2\u002F43.0|23|Xp|-|\n| **CenterMask-Lite**    | V2-19-FPN   |   48 |   32.4\u002F13.6\u002F33.8\u002F47.2    |    35.9\u002F19.6\u002F38.0\u002F45.9         | **23**      | Xp |[link](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Falifk31z3roife1\u002Fcentermask-lite-V-19-eSE-ms-bs16-4x.pth?dl=1)|\n||\n| [YOLACT-550](https:\u002F\u002Farxiv.org\u002Fabs\u002F1904.02689)     | R-101-FPN   |   48 |     29.8\u002F9.9\u002F31.3\u002F47.7   | 31.0\u002F14.4\u002F31.8\u002F43.7| 30 | Xp| - |\n| [YOLACT-550++](https:\u002F\u002Farxiv.org\u002Fabs\u002F1912.06218)     | R-50-FPN   |   48 |    34.1\u002F11.7\u002F36.1\u002F53.6    | - |29|Xp|-|\n| [YOLACT-550++](https:\u002F\u002Farxiv.org\u002Fabs\u002F1912.06218)     | R-101-FPN   |   48 |     34.6\u002F11.9\u002F36.8\u002F55.1   | - | 36 | Xp| - |\n| **CenterMask-Lite**     | R-50-FPN   |   48 |     32.9\u002F12.9\u002F34.7\u002F48.7   | 36.7\u002F18.7\u002F39.4\u002F48.2                  |   29    | Xp         |[link](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Fnbuoit8ewd7ii4f\u002Fcentermask-lite-R-50-ms-bs16-4x.pth?dl=1)|\n| **CenterMask-Lite**     | V2-39-FPN   |   48 |     36.3\u002F15.6\u002F38.1\u002F53.1   |         40.7\u002F22.4\u002F43.2\u002F53.5          |   **28**    | Xp         |[link](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Fs3atq9nzqtmdvpi\u002Fcentermask-lite-V-39-eSE-ms-bs16-4x.pth?dl=1)|\n\n\n*Note that RetinaMask, Mask R-CNN, and CenterMask are implemented by using same baseline code([maskrcnn-benchmark](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fmaskrcnn-benchmark)) and all models are trained using multi-scale training augmentation.*\\\n*We expect that if we implement our CenterMask based on [detectron2](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fdetectron2), it will get better performance.*\\\n*24\u002F36\u002F48\u002F72 epoch are same as 2x\u002F3x\u002F4x\u002F6x training schedule in [detectron](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FDetectron), respectively.*\\\n*Training CenterMask-Lite models longer (24 --> 48 epochs same as YOLACT) boosts ther performance, widening the performance gap from YOLACT and even YOLACT++.*\n\n\n### coco val2017 results\n|Detector | Backbone |  epoch |   Mask AP (AP\u002FAPs\u002FAPm\u002FAPl) | Box AP (AP\u002FAPs\u002FAPm\u002FAPl) |  Time (ms) | Weight |\n|----------|----------|:--------------:|:-------------------:|:------------------------:| :---:|:---:|\n| **CenterMask**    | MV2-FPN   |    36 | 31.2\u002F14.5\u002F32.8\u002F46.3  |       35.5\u002F20.6\u002F38.0\u002F46.8            | **56**      | [link](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Ft1vjdqgix7a632a\u002Fcentermask-M-v2-FPN-ms-3x.pth?dl=1)|\n| **CenterMask**    | **V2-19-FPN**    |    36 |  34.7\u002F17.3\u002F37.5\u002F49.6 |       39.7\u002F24.6\u002F42.7\u002F50.8            | 59      | [link](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Fguy4b2cstnsvddj\u002Fcentermask-V-19-eSE-FPN-ms-3x.pth?dl=1)|\n||\n| Mask R-CNN    | R-50-FPN   |    24 |   35.9\u002F17.1\u002F38.9\u002F52.0 |     39.7\u002F24.0\u002F43.0\u002F50.8              | 77      | [link](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Fr3ocl8ls45wsbgo\u002FMRCN-R-50-FPN-ms-2x.pth?dl=1)|\n| **CenterMask**    | R-50-FPN   |    24 | 36.4\u002F17.3\u002F39.5\u002F52.7  |       41.2\u002F24.9\u002F45.1\u002F53.0            | 72      | [link](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Fbhpf6jud8ovvxmh\u002Fcentermask-R-50-FPN-ms-2x.pth?dl=1)|\n| **CenterMask**    | **V2-39-FPN**   |    24 | 37.7\u002F17.9\u002F40.8\u002F54.3   |         42.6\u002F25.3\u002F46.3\u002F55.2          | **70**      | [link](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Fugcpzcx5b4btvjc\u002Fcentermask-V2-39-FPN-ms-2x.pth?dl=1)|\n| Mask R-CNN    | R-50-FPN   |    36 |   36.5\u002F17.9\u002F39.2\u002F52.5|     40.5\u002F24.7\u002F43.7\u002F52.2              | 77      | [link](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002F09ny9ofj5t1r883\u002FMRCN-R-50-FPN-ms-3x.pth?dl=1)|\n| **CenterMask**    | R-50-FPN   |    36 | 37.0\u002F17.6\u002F39.7\u002F53.8  |       41.7\u002F24.8\u002F45.1\u002F54.5            | 72      | [link](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002F438pbeuqlj1spf0\u002Fcentermask-R-50-FPN-ms-3x.pth?dl=1)|\n| **CenterMask**    | **V2-39-FPN**   |    36 |  38.5\u002F19.0\u002F41.5\u002F54.7 |      43.5\u002F27.1\u002F46.9\u002F55.9           | **70**      | [link](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002F5mmq2ok0yopupnz\u002Fcentermask-V2-39-FPN-ms-3x.pth?dl=1)|\n||\n| Mask R-CNN    | R-101-FPN   |    24 |  37.8\u002F18.5\u002F40.7\u002F54.9  |         42.2\u002F25.8\u002F45.8\u002F54.0          | 94      | [link](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Fptjc4qorps5gbwe\u002FMRCN-R-101-FPN-ms-2x.pth?dl=1)|\n| **CenterMask**    | R-101-FPN   |    24 | 38.0\u002F18.2\u002F41.3\u002F55.2  |       43.1\u002F25.7\u002F47.0\u002F55.6            | 91      | [link](https:\u002F\u002Fdl.dropbox.com\u002Fs\u002F9w17k9iiihob8vx\u002Fcentermask-R-101-ms-2x.pth?dl=1)|\n| **CenterMask**    | **V2-57-FPN**   |    24 | 38.5\u002F18.6\u002F41.9\u002F56.2  |      43.8\u002F26.7\u002F47.4\u002F57.1             | **76**      | [link](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002F949k1ednumtd2rk\u002Fcentermask-V2-57-FPN-ms-2x.pth?dl=1)|\n| Mask R-CNN    | R-101-FPN   |    36 | 38.0\u002F18.4\u002F40.8\u002F55.2  |      42.4\u002F25.4\u002F45.5\u002F55.2             |   94    | [link](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Fhev2k4vfh362d3s\u002FMRCN-R-101-FPN-ms-3x.pth?dl=1)|\n| **CenterMask**    | R-101-FPN   |    36 | 38.6\u002F19.2\u002F42.0\u002F56.1 |   43.7\u002F27.2\u002F47.6\u002F56.7    | 91      | [link](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002F1uxpfh8z0sp8tr2\u002Fcentermask-R-101-FPN-ms-3x.pth?dl=1)|\n| **CenterMask**    | **V2-57-FPN**   |    36 |   39.4\u002F19.6\u002F42.9\u002F55.9  |      44.6\u002F27.7\u002F48.3\u002F57.3 | **76**      | [link](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002F5m5tc4h30tqp2it\u002Fcentermask-V2-57-FPN-ms-3x.pth?dl=1)|\n||\n| Mask R-CNN    | X-101-32x8d-FPN   |    24 |   38.9\u002F19.6\u002F41.6\u002F55.7    |   43.7\u002F27.6\u002F46.9\u002F55.9       |   165    | [link](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Fo6uu0nft0a8iu5s\u002FMRCN-X-101-FPN-ms-2x.pth?dl=1)|\n| **CenterMask**    | X-101-32x8d-FPN  |    24 | 39.1\u002F19.6\u002F42.5\u002F56.1  |        44.3\u002F26.9\u002F48.5\u002F57.0      | 157      | [link](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Fovhzjz43nph14mo\u002Fcentermask-X-101-FPN-ms-2x.pth?dl=1)|\n| **CenterMask**    | **V2-99-FPN**   |    24 | 39.6\u002F19.6\u002F43.1\u002F56.9  |      44.8\u002F27.6\u002F49.0\u002F57.7        |  **106**     | [link](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Flemwoq6qwoqnbzm\u002Fcentermask-V2-99-FPN-ms-2x.pth?dl=1)|\n| Mask R-CNN    | X-101-32x8d-FPN   |    36 | 38.6\u002F19.7\u002F41.1\u002F55.2  |    43.6\u002F27.3\u002F46.7\u002F55.6          |   165    | [link](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Fyl3zmeaxghvni43\u002FMRCN-X-101-FPN-ms-3x.pth?dl=1)|\n| **CenterMask**    |X-101-32x8d-FPN   |    36 | 39.1\u002F18.5\u002F42.3\u002F56.4  |     44.4\u002F26.7\u002F47.7\u002F57.1         | 157      |[link](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Fyrczyb1u49hv05a\u002Fcentermask-X-101-FPN-ms-3x.pth?dl=1)|\n| **CenterMask**    | **V2-99-FPN**   |    36 | 40.2\u002F20.6\u002F43.5\u002F57.3  |      45.6\u002F29.2\u002F49.3\u002F58.8       | **106**      | [link](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002F99i7ydsz2ngrvu1\u002Fcentermask-V2-99-FPN-ms-3x.pth?dl=1)|\n\n*Note that the all models are trained using **train-time augmentation (multi-scale)**.*\\\n*The inference time of all models is measured on **Titan Xp** GPU.*\\\n*24\u002F36 epoch are same as x2\u002Fx3 training schedule in [detectron](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FDetectron), respectively.*\n\n\n## Installation\nCheck [INSTALL.md](INSTALL.md) for installation instructions which is orginate from [maskrcnn-benchmark](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fmaskrcnn-benchmark).\n\n## Training\nFollow [the instructions](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fmaskrcnn-benchmark#multi-gpu-training) of  [maskrcnn-benchmark](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fmaskrcnn-benchmark) guides.\n\nIf you want multi-gpu (e.g.,8) training,\n\n```bash\nexport NGPUS=8\npython -m torch.distributed.launch --nproc_per_node=$NGPUS tools\u002Ftrain_net.py --config-file \"configs\u002Fcentermask\u002Fcentermask_R_50_FPN_1x.yaml\" \n```\n\n\n## Evaluation\n\nFollow [the instruction](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fmaskrcnn-benchmark#evaluation) of [maskrcnn-benchmark](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fmaskrcnn-benchmark)\n\nFirst of all, you have to download the weight file you want to inference.\n\nFor examaple (CenterMask-Lite-R-50),\n##### multi-gpu evaluation & test batch size 16,\n```bash\nwget https:\u002F\u002Fwww.dropbox.com\u002Fs\u002F2enqxenccz4xy6l\u002Fcentermask-lite-R-50-ms-bs32-1x.pth\nexport NGPUS=8\npython -m torch.distributed.launch --nproc_per_node=$NGPUS tools\u002Ftest_net.py --config-file \"configs\u002Fcentermask\u002Fcentermask_R_50_FPN_lite_res600_ms_bs32_1x.yaml\"   TEST.IMS_PER_BATCH 16 MODEL.WEIGHT centermask-lite-R-50-ms-bs32-1x.pth\n```\n\n##### For single-gpu evaluation & test batch size 1,\n```bash\nwget https:\u002F\u002Fwww.dropbox.com\u002Fs\u002F2enqxenccz4xy6l\u002Fcentermask-lite-R-50-ms-bs32-1x.pth\nCUDA_VISIBLE_DEVICES=0\npython tools\u002Ftest_net.py --config-file \"configs\u002Fcentermask\u002Fcentermask_R_50_FPN_lite_res600_ms_bs32_1x.yaml\" TEST.IMS_PER_BATCH 1 MODEL.WEIGHT centermask-lite-R-50-ms-bs32-1x.pth\n```\n\n\n## TODO\n - [x] train-time augmentation + 3x schedule for comparing with detectron2 models\n - [x] ResNet-50 & ResNeXt-101-32x8d\n - [x] VoVNetV2 backbones\n - [x] VoVNetV2 backbones for [Detectron2](https:\u002F\u002Fgithub.com\u002FyoungwanLEE\u002Fdetectron2\u002Ftree\u002Fvovnet\u002Fprojects\u002FVoVNet)\n - [x] CenterMask in [Detectron2](https:\u002F\u002Fgithub.com\u002FyoungwanLEE\u002Fdetectron2\u002Ftree\u002Fvovnet\u002Fprojects\u002FVoVNet)\n - [ ] quick-demo\n - [ ] arxiv paper update\n\n\n\n\n## Performance\n![vizualization](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FyoungwanLEE_CenterMask_readme_8b301b646369.png)\n![results_table](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FyoungwanLEE_CenterMask_readme_6b7da86c4d4e.png)\n\n## Citing CenterMask\n\nPlease cite our paper in your publications if it helps your research:\n\n```BibTeX\n@article{lee2019centermask,\n  title={CenterMask: Real-Time Anchor-Free Instance Segmentation},\n  author={Lee, Youngwan and Park, Jongyoul},\n  booktitle={CVPR},\n  year={2020}\n} \n```\n","# [CenterMask](https:\u002F\u002Farxiv.org\u002Fabs\u002F1911.06667)：实时无锚点实例分割\n\n\n![architecture](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FyoungwanLEE_CenterMask_readme_65cf018ecdb7.png)\n\n## 摘要\n\n我们提出了一种简单而高效的无锚点实例分割方法，称为 **CenterMask**。该方法在无锚点单阶段目标检测器 FCOS 的基础上，借鉴 Mask R-CNN 的思路，添加了一个新颖的空间注意力引导掩码分支（SAG-Mask）。通过将 SAG-Mask 分支接入 FCOS 目标检测器，该分支能够在每个检测框上预测一个分割掩码，并利用空间注意力图来聚焦于信息丰富的像素，同时抑制噪声。此外，我们还提出了改进的 **VoVNetV2** 主干网络，采用了两种有效策略：(1) 使用残差连接缓解更大规模 VoVNet 中的饱和问题；(2) 引入有效的挤压-激励模块（eSE）以解决原始 SE 模块中的信息损失问题。结合 SAG-Mask 和 VoVNetV2，我们设计了 CenterMask 和 CenterMask-Lite 两个模型，分别面向大模型和小模型。CenterMask 在速度显著提升的情况下，超越了所有先前的最先进模型。CenterMask-Lite 也达到了 33.4% 的掩码 AP 和 38.0% 的边界框 AP，分别比 YOLACT 提升了 2.6 和 7.0 个 AP 点，且在 Titan Xp 上的运行速度超过 35 fps。我们希望 CenterMask 和 VoVNetV2 能分别成为实时实例分割任务以及各类视觉任务主干网络的坚实基线。\n\n## 亮点\n- ***首个* 无锚点单阶段实例分割。** 据我们所知，**CenterMask** 是首个基于无锚点目标检测的实例分割方法（2019年11月15日）。\n- **迈向实时：CenterMask-Lite。** 本工作不仅提供了大规模的 CenterMask，还推出了轻量级的 CenterMask-Lite，能够以实时速度（> 30 fps）运行。\n- **最先进的性能。** CenterMask 在速度远超 Mask R-CNN、TensorMask 和 ShapeMask 的情况下仍保持领先；而 CenterMask-Lite 模型也大幅超越了 YOLACT 或 YOLACT++。\n- **平衡速度与精度的主干网络：VoVNetV2。** VoVNetV2 在性能和速度上均优于 ResNe(X)t 或 HRNet。\n\n## 更新\n- 正式开源代码库，代码将在重构后发布。（2019年12月5日）\n- 发布代码及 MobileNetV2 和 ResNet 主干模型，详见 [[`论文`](https:\u002F\u002Farxiv.org\u002Fabs\u002F1911.06667)]。（2019年12月10日）\n- 上传 VoVNetV2 主干模型。（2020年1月2日）\n- 将 VoVNetV2 主干网络开放给 [Detectron2](https:\u002F\u002Fgithub.com\u002FyoungwanLEE\u002Fdetectron2\u002Ftree\u002Fvovnet\u002Fprojects\u002FVoVNet) --> [vovnet-detectron2](https:\u002F\u002Fgithub.com\u002FyoungwanLEE\u002Fvovnet-detectron2)。（2020年1月8日）\n- 上传训练 48 个 epoch 的 CenterMask-Lite 模型，其性能超越了 [YOLACT](https:\u002F\u002Farxiv.org\u002Fabs\u002F1904.02689) 或 [YOLACT++](https:\u002F\u002Farxiv.org\u002Fabs\u002F1912.06218)。（2020年1月14日）\n- [centermask2](https:\u002F\u002Fgithub.com\u002FyoungwanLEE\u002Fcentermask2) 已发布。（2020年2月20日）\n## 模型\n### 运行环境\n- V100 或 Titan Xp GPU\n- CUDA 10.0 \n- cuDNN 7.3 \n- PyTorch 1.1\n- 基于 [fcos](https:\u002F\u002Fgithub.com\u002Ftianzhi0549\u002FFCOS) 和 [maskrcn-benchmark](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fmaskrcnn-benchmark) 实现\n- [GoogleDrive 权重下载链接](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1llkxG5lKK7lZZ0W__7u5M5m4Ddf4YIWr?usp=sharing)\n\n### coco 测试集结果\n\n|检测器 | 主干网络 |  epoch |   Mask AP (AP\u002FAPs\u002FAPm\u002FAPl) | Box AP (AP\u002FAPs\u002FAPm\u002FAPl) |  时间 (ms) | GPU |权重 |\n|----------|----------|:--------------:|:-------------------:|:------------------------:|:--------------------------:| :---:|:---:|\n| [ShapeMask](https:\u002F\u002Farxiv.org\u002Fabs\u002F1904.03239)     | R-101-FPN   |N\u002FA |            37.4\u002F16.1\u002F40.1\u002F53.8                  | 42.2\u002F24.9\u002F45.2\u002F52.7      | 125| V100| - |\n | [TensorMask](https:\u002F\u002Farxiv.org\u002Fabs\u002F1903.12174)     | R-101-FPN  | 72 |  37.1\u002F17.4\u002F39.1\u002F51.6         | -                  | 380      |V100| - |\n [RetinaMask](https:\u002F\u002Farxiv.org\u002Fabs\u002F1901.03353)    | R-101-FPN   |  24 |    34.7\u002F14.3\u002F36.7\u002F50.5     | 41.4\u002F23.0\u002F44.5\u002F53.0                  | 98  |V100| - |\n| [Mask R-CNN](https:\u002F\u002Farxiv.org\u002Fabs\u002F1703.06870)     | R-101-FPN   | 24 |   37.9\u002F18.1\u002F40.3\u002F53.3       | 42.2\u002F24.9\u002F45.2\u002F52.7                  |  94     |V100| -                          |[链接](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Frs1rgl5lupw576a\u002FFRCN-V-57-FPN-2x-norm.pth?dl=1)|\n| **CenterMask**    | R-101-FPN   |    24 |   38.3\u002F17.7\u002F40.8\u002F54.5|     43.1\u002F25.2\u002F46.1\u002F54.4              | **72**      |V100| [链接](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002F9w17k9iiihob8vx\u002Fcentermask-R-101-ms-2x.pth?dl=1)|\n| **CenterMask**    | X-101-FPN   |    36 |   39.6\u002F19.7\u002F42.0\u002F55.2|     44.6\u002F27.1\u002F47.2\u002F55.2              | 123      |V100| [链接](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Fyrczyb1u49hv05a\u002Fcentermask-X-101-FPN-ms-3x.pth?dl=1)|\n| **CenterMask**    | V2-99-FPN |    36 |   40.6\u002F20.1\u002F42.8\u002F57.0|     45.8\u002F27.8\u002F48.3\u002F57.6              | 84      |V100| [链接](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002F99i7ydsz2ngrvu1\u002Fcentermask-V2-99-FPN-ms-3x.pth?dl=1)|\n||\n| [YOLACT-400](https:\u002F\u002Farxiv.org\u002Fabs\u002F1904.02689)     | R-101-FPN   |    48 |    24.9\u002F5.0\u002F25.3\u002F45.0    |         28.4\u002F10.7\u002F28.9\u002F43.1          |  22   | Xp |-|\n| **CenterMask-Lite**    | MV2-FPN   |   48 |  26.7\u002F9.0\u002F27.0\u002F40.9     |    30.2\u002F14.2\u002F31.9\u002F40.9          | **20**      | Xp |[链接](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Ffk9m4uqkhrpkqc6\u002Fcentermask-lite-M-v2-bs16-4x.pth?dl=1)|\n||\n| [YOLACT-550](https:\u002F\u002Farxiv.org\u002Fabs\u002F1904.02689)     | R-50-FPN   |   48 |    28.2\u002F9.2\u002F29.3\u002F44.8    | 30.3\u002F14.0\u002F31.2\u002F43.0|23|Xp|-|\n| **CenterMask-Lite**    | V2-19-FPN   |   48 |   32.4\u002F13.6\u002F33.8\u002F47.2    |    35.9\u002F19.6\u002F38.0\u002F45.9         | **23**      | Xp |[链接](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Falifk31z3roife1\u002Fcentermask-lite-V-19-eSE-ms-bs16-4x.pth?dl=1)|\n||\n| [YOLACT-550](https:\u002F\u002Farxiv.org\u002Fabs\u002F1904.02689)     | R-101-FPN   |   48 |     29.8\u002F9.9\u002F31.3\u002F47.7   | 31.0\u002F14.4\u002F31.8\u002F43.7| 30 | Xp| - |\n| [YOLACT-550++](https:\u002F\u002Farxiv.org\u002Fabs\u002F1912.06218)     | R-50-FPN   |   48 |    34.1\u002F11.7\u002F36.1\u002F53.6    | - |29|Xp|-|\n| [YOLACT-550++](https:\u002F\u002Farxiv.org\u002Fabs\u002F1912.06218)     | R-101-FPN   |   48 |     34.6\u002F11.9\u002F36.8\u002F55.1   | - | 36 | Xp| - |\n| **CenterMask-Lite**     | R-50-FPN   |   48 |     32.9\u002F12.9\u002F34.7\u002F48.7   | 36.7\u002F18.7\u002F39.4\u002F48.2                  |   29    | Xp         |[链接](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Fnbuoit8ewd7ii4f\u002Fcentermask-lite-R-50-ms-bs16-4x.pth?dl=1)|\n| **CenterMask-Lite**     | V2-39-FPN   |   48 |     36.3\u002F15.6\u002F38.1\u002F53.1   |         40.7\u002F22.4\u002F43.2\u002F53.5          |   **28**    | Xp         |[链接](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Fs3atq9nzqtmdvpi\u002Fcentermask-lite-V-39-eSE-ms-bs16-4x.pth?dl=1)|\n\n\n*请注意，RetinaMask、Mask R-CNN 和 CenterMask 均基于相同的基准代码（[maskrcnn-benchmark](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fmaskrcnn-benchmark)）实现，所有模型均采用多尺度训练增强进行训练。*\\\n*我们预计，如果基于 [detectron2](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fdetectron2) 实现我们的 CenterMask，其性能将进一步提升。*\\\n*24\u002F36\u002F48\u002F72 epoch 分别对应于 [detectron](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FDetectron) 中的 2x\u002F3x\u002F4x\u002F6x 训练计划。*\\\n*延长 CenterMask-Lite 模型的训练时间（从 24 增加到 48 epoch，与 YOLACT 相同）可以显著提升性能，从而进一步扩大其与 YOLACT 甚至 YOLACT++ 之间的性能差距。*\n\n### coco val2017 结果\n|检测器 | 主干网络 |  epoch |   Mask AP (AP\u002FAPs\u002FAPm\u002FAPl) | Box AP (AP\u002FAPs\u002FAPm\u002FAPl) |  时间 (ms) | 权重 |\n|----------|----------|:--------------:|:-------------------:|:------------------------:| :---:|:---:|\n| **CenterMask**    | MV2-FPN   |    36 | 31.2\u002F14.5\u002F32.8\u002F46.3  |       35.5\u002F20.6\u002F38.0\u002F46.8            | **56**      | [链接](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Ft1vjdqgix7a632a\u002Fcentermask-M-v2-FPN-ms-3x.pth?dl=1)|\n| **CenterMask**    | **V2-19-FPN**    |    36 |  34.7\u002F17.3\u002F37.5\u002F49.6 |       39.7\u002F24.6\u002F42.7\u002F50.8            | 59      | [链接](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Fguy4b2cstnsvddj\u002Fcentermask-V-19-eSE-FPN-ms-3x.pth?dl=1)|\n||\n| Mask R-CNN    | R-50-FPN   |    24 |   35.9\u002F17.1\u002F38.9\u002F52.0 |     39.7\u002F24.0\u002F43.0\u002F50.8              | 77      | [链接](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Fr3ocl8ls45wsbgo\u002FMRCN-R-50-FPN-ms-2x.pth?dl=1)|\n| **CenterMask**    | R-50-FPN   |    24 | 36.4\u002F17.3\u002F39.5\u002F52.7  |       41.2\u002F24.9\u002F45.1\u002F53.0            | 72      | [链接](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Fbhpf6jud8ovvxmh\u002Fcentermask-R-50-FPN-ms-2x.pth?dl=1)|\n| **CenterMask**    | **V2-39-FPN**   |    24 | 37.7\u002F17.9\u002F40.8\u002F54.3   |         42.6\u002F25.3\u002F46.3\u002F55.2          | **70**      | [链接](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Fugcpzcx5b4btvjc\u002Fcentermask-V2-39-FPN-ms-2x.pth?dl=1)|\n| Mask R-CNN    | R-50-FPN   |    36 |   36.5\u002F17.9\u002F39.2\u002F52.5|     40.5\u002F24.7\u002F43.7\u002F52.2              | 77      | [链接](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002F09ny9ofj5t1r883\u002FMRCN-R-50-FPN-ms-3x.pth?dl=1)|\n| **CenterMask**    | R-50-FPN   |    36 | 37.0\u002F17.6\u002F39.7\u002F53.8  |       41.7\u002F24.8\u002F45.1\u002F54.5            | 72      | [链接](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002F438pbeuqlj1spf0\u002Fcentermask-R-50-FPN-ms-3x.pth?dl=1)|\n| **CenterMask**    | **V2-39-FPN**   |    36 |  38.5\u002F19.0\u002F41.5\u002F54.7 |      43.5\u002F27.1\u002F46.9\u002F55.9           | **70**      | [链接](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002F5mmq2ok0yopupnz\u002Fcentermask-V2-39-FPN-ms-3x.pth?dl=1)|\n||\n| Mask R-CNN    | R-101-FPN   |    24 |  37.8\u002F18.5\u002F40.7\u002F54.9  |         42.2\u002F25.8\u002F45.8\u002F54.0          | 94      | [链接](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Fptjc4qorps5gbwe\u002FMRCN-R-101-FPN-ms-2x.pth?dl=1)|\n| **CenterMask**    | R-101-FPN   |    24 | 38.0\u002F18.2\u002F41.3\u002F55.2  |       43.1\u002F25.7\u002F47.0\u002F55.6            | 91      | [链接](https:\u002F\u002Fdl.dropbox.com\u002Fs\u002F9w17k9iiihob8vx\u002Fcentermask-R-101-ms-2x.pth?dl=1)|\n| **CenterMask**    | **V2-57-FPN**   |    24 | 38.5\u002F18.6\u002F41.9\u002F56.2  |      43.8\u002F26.7\u002F47.4\u002F57.1             | **76**      | [链接](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002F949k1ednumtd2rk\u002Fcentermask-V2-57-FPN-ms-2x.pth?dl=1)|\n| Mask R-CNN    | R-101-FPN   |    36 | 38.0\u002F18.4\u002F40.8\u002F55.2  |      42.4\u002F25.4\u002F45.5\u002F55.2             |   94    | [链接](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Fhev2k4vfh362d3s\u002FMRCN-R-101-FPN-ms-3x.pth?dl=1)|\n| **CenterMask**    | R-101-FPN   |    36 | 38.6\u002F19.2\u002F42.0\u002F56.1 |   43.7\u002F27.2\u002F47.6\u002F56.7    | 91      | [链接](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002F1uxpfh8z0sp8tr2\u002Fcentermask-R-101-FPN-ms-3x.pth?dl=1)|\n| **CenterMask**    | **V2-57-FPN**   |    36 |   39.4\u002F19.6\u002F42.9\u002F55.9  |      44.6\u002F27.7\u002F48.3\u002F57.3 | **76**      | [链接](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002F5m5tc4h30tqp2it\u002Fcentermask-V2-57-FPN-ms-3x.pth?dl=1)|\n||\n| Mask R-CNN    | X-101-32x8d-FPN   |    24 |   38.9\u002F19.6\u002F41.6\u002F55.7    |   43.7\u002F27.6\u002F46.9\u002F55.9       |   165    | [链接](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Fo6uu0nft0a8iu5s\u002FMRCN-X-101-FPN-ms-2x.pth?dl=1)|\n| **CenterMask**    | X-101-32x8d-FPN  |    24 | 39.1\u002F19.6\u002F42.5\u002F56.1  |        44.3\u002F26.9\u002F48.5\u002F57.0      | 157      | [链接](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Fovhzjz43nph14mo\u002Fcentermask-X-101-FPN-ms-2x.pth?dl=1)|\n| **CenterMask**    | **V2-99-FPN**   |    24 | 39.6\u002F19.6\u002F43.1\u002F56.9  |      44.8\u002F27.6\u002F49.0\u002F57.7        |  **106**     | [链接](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Flemwoq6qwoqnbzm\u002Fcentermask-V2-99-FPN-ms-2x.pth?dl=1)|\n| Mask R-CNN    | X-101-32x8d-FPN   |    36 | 38.6\u002F19.7\u002F41.1\u002F55.2  |    43.6\u002F27.3\u002F46.7\u002F55.6          |   165    | [链接](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Fyl3zmeaxghvni43\u002FMRCN-X-101-FPN-ms-3x.pth?dl=1)|\n| **CenterMask**    |X-101-32x8d-FPN   |    36 | 39.1\u002F18.5\u002F42.3\u002F56.4  |     44.4\u002F26.7\u002F47.7\u002F57.1         | 157      |[链接](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Fyrczyb1u49hv05a\u002Fcentermask-X-101-FPN-ms-3x.pth?dl=1)|\n| **CenterMask**    | **V2-99-FPN**   |    36 | 40.2\u002F20.6\u002F43.5\u002F57.3  |      45.6\u002F29.2\u002F49.3\u002F58.8       | **106**      | [链接](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002F99i7ydsz2ngrvu1\u002Fcentermask-V2-99-FPN-ms-3x.pth?dl=1)|\n\n*请注意，所有模型均使用**训练时增强（多尺度）**进行训练。*\\\n*所有模型的推理时间均在**Titan Xp** GPU上测量。*\\\n*24\u002F36 epoch 分别对应于 [detectron](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002FDetectron) 中的 x2\u002Fx3 训练计划。*\n\n\n## 安装\n请参阅 [INSTALL.md](INSTALL.md)，其中包含源自 [maskrcnn-benchmark](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fmaskrcnn-benchmark) 的安装说明。\n\n## 训练\n请遵循 [maskrcnn-benchmark](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fmaskrcnn-benchmark) 指南中的[说明](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fmaskrcnn-benchmark#multi-gpu-training)。\n\n如果您希望进行多GPU（例如8个）训练，\n\n```bash\nexport NGPUS=8\npython -m torch.distributed.launch --nproc_per_node=$NGPUS tools\u002Ftrain_net.py --config-file \"configs\u002Fcentermask\u002Fcentermask_R_50_FPN_1x.yaml\" \n```\n\n\n## 评估\n\n请遵循 [maskrcnn-benchmark](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fmaskrcnn-benchmark) 的[说明](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fmaskrcnn-benchmark#evaluation)\n\n首先，您需要下载想要进行推理的权重文件。\n\n例如（CenterMask-Lite-R-50），\n##### 多GPU评估 & 测试批次大小为16，\n```bash\nwget https:\u002F\u002Fwww.dropbox.com\u002Fs\u002F2enqxenccz4xy6l\u002Fcentermask-lite-R-50-ms-bs32-1x.pth\nexport NGPUS=8\npython -m torch.distributed.launch --nproc_per_node=$NGPUS tools\u002Ftest_net.py --config-file \"configs\u002Fcentermask\u002Fcentermask_R_50_FPN_lite_res600_ms_bs32_1x.yaml\"   TEST.IMS_PER_BATCH 16 MODEL.WEIGHT centermask-lite-R-50-ms-bs32-1x.pth\n```\n\n##### 对于单GPU评估 & 测试批次大小为1，\n```bash\nwget https:\u002F\u002Fwww.dropbox.com\u002Fs\u002F2enqxenccz4xy6l\u002Fcentermask-lite-R-50-ms-bs32-1x.pth\nCUDA_VISIBLE_DEVICES=0\npython tools\u002Ftest_net.py --config-file \"configs\u002Fcentermask\u002Fcentermask_R_50_FPN_lite_res600_ms_bs32_1x.yaml\" TEST.IMS_PER_BATCH 1 MODEL.WEIGHT centermask-lite-R-50-ms-bs32-1x.pth\n```\n\n\n## 待办事项\n - [x] 训练时增强 + 3倍计划，用于与 detectron2 模型比较\n - [x] ResNet-50 和 ResNeXt-101-32x8d\n - [x] VoVNetV2 主干网络\n - [x] VoVNetV2 主干网络用于 [Detectron2](https:\u002F\u002Fgithub.com\u002FyoungwanLEE\u002Fdetectron2\u002Ftree\u002Fvovnet\u002Fprojects\u002FVoVNet)\n - [x] CenterMask 在 [Detectron2](https:\u002F\u002Fgithub.com\u002FyoungwanLEE\u002Fdetectron2\u002Ftree\u002Fvovnet\u002Fprojects\u002FVoVNet) 中的应用\n - [ ] 快速演示\n - [ ] arXiv 论文更新\n\n\n\n\n## 性能\n![可视化](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FyoungwanLEE_CenterMask_readme_8b301b646369.png)\n![结果表](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FyoungwanLEE_CenterMask_readme_6b7da86c4d4e.png)\n\n## 引用 CenterMask\n\n如果我们的论文对您的研究有所帮助，请在您的出版物中引用我们的论文：\n\n```BibTeX\n@article{lee2019centermask,\n  title={CenterMask: 实时无锚点实例分割},\n  author={Lee, Youngwan and Park, Jongyoul},\n  booktitle={CVPR},\n  year={2020}\n} \n```","# CenterMask 快速上手指南\n\nCenterMask 是一种高效的无锚点（Anchor-Free）实时实例分割模型，基于 FCOS 检测器并引入了空间注意力引导掩码（SAG-Mask）分支。本指南将帮助你快速搭建环境并运行模型。\n\n## 环境准备\n\n在开始之前，请确保你的系统满足以下硬件和软件要求：\n\n*   **操作系统**: Linux (推荐 Ubuntu 16.04\u002F18.04)\n*   **GPU**: NVIDIA GPU (推荐 V100 或 Titan Xp)，显存建议 8GB 以上\n*   **CUDA**: 10.0\n*   **cuDNN**: 7.3\n*   **Python**: 3.6+\n*   **PyTorch**: 1.1\n*   **前置依赖**:\n    *   `maskrcnn-benchmark` (本项目基于此框架开发)\n    *   `fcos` (部分代码参考)\n\n> **注意**：由于项目基于较旧版本的 PyTorch (1.1) 和 maskrcnn-benchmark，建议在独立的 Conda 虚拟环境中进行安装以避免依赖冲突。\n\n## 安装步骤\n\n### 1. 创建并激活 Conda 环境\n```bash\nconda create -n centermask python=3.6\nconda activate centermask\n```\n\n### 2. 安装 PyTorch 和 torchvision (对应 CUDA 10.0)\n```bash\nconda install pytorch=1.1.0 torchvision=0.3.0 cudatoolkit=10.0 -c pytorch\n```\n\n### 3. 安装 maskrcnn-benchmark 依赖\n首先克隆基础框架并安装其依赖：\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fmaskrcnn-benchmark.git\ncd maskrcnn-benchmark\npip install -r requirements.txt\n```\n\n### 4. 编译安装 maskrcnn-benchmark\n```bash\npython setup.py build develop\n```\n*如果在国内网络环境下编译缓慢，可尝试配置国内镜像源加速 pip 下载，但 C++\u002FCUDA 扩展编译主要依赖本地环境。*\n\n### 5. 获取 CenterMask 代码与权重\n由于官方代码经历了重构，建议获取已发布的稳定版本（如 centermask2 或原始发布代码）。此处以原始仓库结构为例：\n\n```bash\n# 假设在当前目录下操作\ngit clone https:\u002F\u002Fgithub.com\u002FyoungwanLEE\u002Fcentermask.git\ncd centermask\n\n# 下载预训练权重 (以 CenterMask-Lite V2-39-FPN 为例)\n# 请从 README 提供的 Dropbox 链接下载权重文件，并放置于 weights 目录\nmkdir weights\n# 示例：wget [Dropbox_Download_Link] -O weights\u002Fcentermask-lite-V-39-eSE-ms-bs16-4x.pth\n```\n\n## 基本使用\n\n以下是最简单的推理测试示例，假设你已经准备好了图片和权重文件。\n\n### 单张图片推理\n\n进入项目根目录，运行测试脚本。你需要修改配置文件以指向你的权重和图片路径。\n\n```bash\n# 示例命令：使用指定的配置文件和权重进行测试\n# configs\u002Fcentermask_lite_V_39_eSE_FPN_ms.yaml 为示例配置文件名，请根据实际下载模型选择对应 config\npython tools\u002Ftest_net.py \\\n    --config-file configs\u002Fcentermask_lite_V_39_eSE_FPN_ms.yaml \\\n    MODEL.WEIGHT \"weights\u002Fcentermask-lite-V-39-eSE-ms-bs16-4x.pth\" \\\n    INPUT.MIN_SIZE_TEST 800 \\\n    INPUT.MAX_SIZE_TEST 1333\n```\n\n### 关键参数说明\n*   `--config-file`: 指定模型架构配置文件（位于 `configs\u002F` 目录下）。\n*   `MODEL.WEIGHT`: 指定下载的 `.pth` 权重文件路径。\n*   `INPUT.MIN_SIZE_TEST` \u002F `INPUT.MAX_SIZE_TEST`: 测试时的图像缩放尺寸，多尺度训练通常在此处生效以获得最佳精度。\n\n### 预期输出\n运行成功后，程序将在终端输出检测指标（如 Mask AP, Box AP），并在默认输出目录（通常在 `output` 文件夹下）生成带有分割掩码的可视化结果图片。\n\n> **提示**：若要处理自定义图片，需修改 `tools\u002Ftest_net.py` 或使用 `demo\u002Fdemo.py`（如果项目中包含该脚本）加载本地图片路径进行推理。","某智慧零售团队正在开发一套实时货架分析系统，需要精准识别并分割监控视频中重叠摆放的商品，以统计库存和陈列合规性。\n\n### 没有 CenterMask 时\n- **检测精度不足**：传统基于锚框（Anchor-based）的模型在处理密集堆叠商品时，常因预设锚框匹配失败导致漏检或边界框漂移。\n- **边缘分割粗糙**：现有实时方案（如早期 YOLACT）生成的掩码边缘模糊，难以区分紧挨着的同类商品，导致计数错误。\n- **推理延迟过高**：为了追求分割精度引入重型骨干网络，导致单帧处理时间超过 100ms，无法满足视频流实时分析需求。\n- **小目标丢失严重**：对于货架远处或尺寸较小的商品，模型缺乏有效的注意力机制，极易被背景噪声干扰而忽略。\n\n### 使用 CenterMask 后\n- **无锚框精准定位**：CenterMask 采用无锚框的一阶段检测架构，直接预测中心点，完美解决了密集商品的重叠检测难题，显著提升召回率。\n- **空间注意力细化掩码**：独有的 SAG-Mask 分支利用空间注意力图聚焦关键像素，有效抑制噪声，使商品分割边缘清晰锐利，即使紧贴也能准确分离。\n- **真正的实时性能**：结合轻量级 VoVNetV2 骨干网，CenterMask-Lite 在 Titan Xp 上推理速度超 35fps，在保证高精度的同时实现了流畅的实时处理。\n- **小目标感知增强**：改进的 eSE 模块缓解了信息丢失问题，大幅提升了模型对远处小件商品的特征提取能力，减少了漏检情况。\n\nCenterMask 通过无锚框设计与空间注意力机制，在保持实时速度的同时，彻底解决了密集场景下实例分割的精度与效率平衡难题。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FyoungwanLEE_CenterMask_8b301b64.png","youngwanLEE","Youngwan Lee","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FyoungwanLEE_f0364cf2.jpg","Senior researcher at ETRI & Ph.D student in \r\nGraduate school of AI at KAIST.","ETRI & MLAI@KAIST","South Korea","yw.lee@etri.re.kr",null,"https:\u002F\u002Fyoungwanlee.github.io\u002F","https:\u002F\u002Fgithub.com\u002FyoungwanLEE",[84,88,92,96],{"name":85,"color":86,"percentage":87},"Python","#3572A5",78.1,{"name":89,"color":90,"percentage":91},"Cuda","#3A4E3A",17.3,{"name":93,"color":94,"percentage":95},"C++","#f34b7d",4.1,{"name":97,"color":98,"percentage":99},"Dockerfile","#384d54",0.5,781,122,"2026-04-12T08:01:05","NOASSERTION",4,"Linux","必需 NVIDIA GPU，推荐 V100 或 Titan Xp，CUDA 10.0","未说明",{"notes":109,"python":107,"dependencies":110},"该工具基于 maskrcnn-benchmark 和 FCOS 实现。官方提供了针对 Detectron2 重构后的版本链接 (centermask2\u002Fvovnet-detectron2)，若需在新版环境运行建议参考相关仓库。模型权重需从 Google Drive 或 Dropbox 手动下载。",[111,112,113,114],"pytorch==1.1","cuDNN==7.3","maskrcnn-benchmark","fcos",[15],[117,118,119,120,121,122],"instance-segmentation","object-detection","centermask","vovnet","vovnetv2","cvpr2020","2026-03-27T02:49:30.150509","2026-04-18T14:15:04.647701",[126,131,136,141,146,151,156],{"id":127,"question_zh":128,"answer_zh":129,"source_url":130},40012,"训练过程中出现 Loss 为 NaN 或异常波动怎么办？","这通常与学习率或批次大小设置有关。建议尝试降低基础学习率（base_lr）。如果使用的是轻量级网络（如 centermask_R_50_FPN_lite），可以尝试将 batch_size 调整为 1 来排查问题。对于特定的配置文件（如 centermask_V_39_eSE_FPN_lite_res600_ms_bs16_4x.yaml）出现 NaN，请检查是否使用了推荐的学习率参数，例如通过命令行覆盖参数：`SOLVER.BASE_LR 0.0025`。","https:\u002F\u002Fgithub.com\u002FyoungwanLEE\u002FCenterMask\u002Fissues\u002F1",{"id":132,"question_zh":133,"answer_zh":134,"source_url":135},40013,"如何下载预训练模型权重？","项目维护者已将预训练权重上传至 Google Drive。您可以访问以下链接下载：https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1llkxG5lKK7lZZ0W__7u5M5m4Ddf4YIWr。请确保链接有效，部分旧链接可能已失效。","https:\u002F\u002Fgithub.com\u002FyoungwanLEE\u002FCenterMask\u002Fissues\u002F8",{"id":137,"question_zh":138,"answer_zh":139,"source_url":140},40014,"如何在 Cityscapes 数据集上训练 CenterMask？","原始的 CenterMask 基于 FCOS，需要物体检测标签（bounding boxes），而 Cityscapes 数据集主要提供实例分割标签，缺乏检测标签，因此直接训练会导致指标为零。建议使用基于 Detectron2 重构的 CenterMask2 版本（https:\u002F\u002Fgithub.com\u002FyoungwanLEE\u002Fcentermask2），该版本支持在 Cityscapes 数据集上进行训练。","https:\u002F\u002Fgithub.com\u002FyoungwanLEE\u002FCenterMask\u002Fissues\u002F25",{"id":142,"question_zh":143,"answer_zh":144,"source_url":145},40015,"运行 Demo 时无法检测到掩码（mask）或边界框（boxes），只显示原图？","这通常是因为未正确加载预训练权重文件。需要在代码中手动指定权重路径。请确保在配置中添加以下行：`cfg.MODEL.WEIGHT = '.\u002Fcentermask-lite-M-v2-bs16-4x.pth?dl=1'`（请替换为您实际下载的权重文件路径），并在修改配置后调用 `cfg.freeze()`。此外，请确认使用的是针对 COCO 训练的模型权重。","https:\u002F\u002Fgithub.com\u002FyoungwanLEE\u002FCenterMask\u002Fissues\u002F22",{"id":147,"question_zh":148,"answer_zh":149,"source_url":150},40016,"检测结果中有边界框但没有生成对应的掩码（mask）？","请检查您的配置文件和预测器设置。首先，确保在配置文件或代码中将 `MASK_ON` 设置为 `True`。其次，检查配置中是否启用了 `FCOS_MASK: True` 和 `MASKIOU_ON: True`。如果使用的是 demo 脚本，请确认 `predictor.py` 中的相关标志位已正确开启。","https:\u002F\u002Fgithub.com\u002FyoungwanLEE\u002FCenterMask\u002Fissues\u002F18",{"id":152,"question_zh":153,"answer_zh":154,"source_url":155},40017,"为什么论文或图表中 P3-P7 的特征层顺序与其他文章不同？","图表中的数字排列仅是为了适应图片尺寸进行的简化绘制，并不代表实际的步长顺序错误。其底层实现与 FCOS 或其他论文中的 FPN 模块逻辑是一致的，特征金字塔的结构和功能没有区别。","https:\u002F\u002Fgithub.com\u002FyoungwanLEE\u002FCenterMask\u002Fissues\u002F14",{"id":157,"question_zh":158,"answer_zh":159,"source_url":160},40018,"训练 centermask_V_39_eSE_FPN_ms_3x.yaml 时 Loss 显示为 None 或 NaN 如何解决？","这是因为默认的学习率对于该配置可能过高。建议在运行训练命令时通过命令行参数显式降低学习率并调整迭代次数。参考命令如下：`python tools\u002Ftrain_net.py --config-file \"configs\u002Fcentermask\u002Fcentermask_V_39_eSE_FPN_ms_3x.yaml\" SOLVER.BASE_LR 0.0025 SOLVER.MAX_ITER 720000 SOLVER.STEPS \"(480000, 640000)\"`。","https:\u002F\u002Fgithub.com\u002FyoungwanLEE\u002FCenterMask\u002Fissues\u002F12",[]]