编辑（截至2019年11月4日）：

1. 该实现存在多处错误，并且截至2019年11月4日，尚不足以作为理解Mask R-CNN架构的参考资料。通过多封邮件以及HackerNews上的评论，有人指出这种有缺陷的实现对深度学习社区的研究工作造成了不利影响。这个项目是我学术生涯早期完成的，当时并未意识到问题的严重性。

2. 我计划修复这些问题（本仓库中提交的问题具有代表性），并使代码更易读、添加更完善的文档，以使其达到最初设计的目的。遗憾的是，目前我正忙于学业，无法立即处理该项目。我将于2020年1月中旬至2月初开始着手改进此仓库。在此期间，我已提供其他实现的链接，这些实现或许能帮助您达成目标。

3. 对于修复所列任何问题的拉取请求（PR）始终欢迎，这将有助于我更快地推进使该仓库更加规范的工作。

再次为由此造成的不便致歉

链接

1. https://github.com/facebookresearch/detectron2（PyTorch实现）
2. https://github.com/matterport/Mask_RCNN（TensorFlow实现）。本仓库的大部分内容都是以该仓库为参考构建的。

---

Mask-RCNN

一个基于PyTorch的Mask RCNN架构实现

文件夹说明

1. model.py 包含ResNet和FPN模型，这些模型由原论文作者实现，并在本实现中进行了复现。
2. nms 和 RoiAlign 源自Robb Girshick的Faster R-CNN实现。
3. 为了获得更好的效果，本实现加入了焦点损失（Focal Loss），这一点在RetinaNet的相关论文中已有证明。

Mask-RCNN模型：

特点：

1. 负责边界框检测的部分借鉴了Faster R-CNN模型，采用RPN与ConvNet协同工作的结构。
2. ConvNet中的池化层在步长不是感受野的整数倍时，会进行向下或向上取整操作，这可能导致在非整数位置丢失或引入“信息”，从而影响图像特征。
3. ROI Align方法被提出用于解决这一问题，它通过双线性插值来精确计算像素的非整数值位置。
4. 在测试中，使用更复杂的插值方案（如三次插值，可增加16个额外特征）确实能带来略微提升，但提升幅度不足以证明其复杂性的合理性。
5. 当对大量候选框求交叉熵损失时，对于置信度较高的候选框，总损失值会变得非常大，从而掩盖了重要候选框的贡献。焦点损失（Focal Loss）正是为了解决这一问题而提出的。
6. 然而，焦点损失在单阶段网络中表现更为出色。这是因为两阶段网络本身具有一些判别策略来应对类别不平衡问题，而单阶段网络则缺乏这种机制。

如果您在本仓库中发现任何问题，请随时fork本仓库，并提交包含必要更改的拉取请求。

Mask-RCNN 快速上手指南

⚠️ 重要提示：本仓库（PyTorch 实现）作者已明确声明，截至 2019 年 11 月，代码存在多处错误，不适合用于学习 Mask R-CNN 架构或生产环境。建议优先使用以下成熟替代方案：

• PyTorch 官方推荐: Detectron2
• TensorFlow 经典实现: Matterport Mask_RCNN

若您仍希望尝试本仓库进行实验或贡献代码修复，请参考以下指南。

环境准备

• 操作系统: Linux (推荐 Ubuntu 16.04+) 或 macOS
• Python: 3.6+
• 深度学习框架: PyTorch (需匹配对应的 CUDA 版本)
• 前置依赖:
  • numpy
  • scipy
  • opencv-python
  • pillow
  • matplotlib
  • cython (用于编译 NMS 和 RoIAlign)

安装步骤

1. 克隆仓库

   git clone https://github.com/your-target-repo/Mask-RCNN.git
   cd Mask-RCNN
   

2. 安装 Python 依赖 建议使用国内镜像源加速安装：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   (注：若仓库无 requirements.txt，请手动安装上述前置依赖)

3. 编译自定义算子 (NMS & RoIAlign) 本实现依赖从 Faster R-CNN 复用的 nms 和 RoiAlign 模块，需要编译 C++/CUDA 扩展：

   python setup.py build_ext --inplace
   

   确保已正确安装与当前 PyTorch 版本匹配的 CUDA Toolkit 和 gcc 编译器。

基本使用

以下是最简单的推理示例，加载预训练权重并对图像进行预测：

import torch
from model import ResNet, FPN, MaskRCNN
from torchvision import transforms
import cv2

# 1. 初始化模型
# 注意：由于原仓库存在缺陷，此处需确保已修复相关权重加载逻辑
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model = MaskRCNN(num_classes=81) # COCO 数据集为 81 类
model.to(device)

# 2. 加载权重 (假设已下载并放置于 weights/)
# checkpoint = torch.load('weights/mask_rcnn.pth', map_location=device)
# model.load_state_dict(checkpoint['state_dict'])
model.eval()

# 3. 预处理图像
image = cv2.imread('test_image.jpg')
image_rgb = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
transform = transforms.Compose([
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
])
input_tensor = transform(image_rgb).unsqueeze(0).to(device)

# 4. 执行推理
with torch.no_grad():
    predictions = model(input_tensor)

# 5. 解析结果
# predictions 包含 boxes, labels, scores, masks
boxes = predictions[0]['boxes']
masks = predictions[0]['masks']
labels = predictions[0]['labels']

print(f"检测到 {len(boxes)} 个目标")