用于目标检测与分割的 Mask R-CNN

这是在 Python 3、Keras 和 TensorFlow 上实现的 Mask R-CNN。该模型为图像中每个对象实例生成边界框和分割掩码。它基于特征金字塔网络（FPN）和 ResNet101 主干网络。

该仓库包含：

• 基于 FPN 和 ResNet101 构建的 Mask R-CNN 源代码。
• MS COCO 数据集的训练代码。
• MS COCO 数据集的预训练权重。
• Jupyter 笔记本，用于可视化检测流程的每一步。
• 用于多 GPU 训练的 ParallelModel 类。
• 在 MS COCO 数据集上的评估指标（AP）。
• 自定义数据集训练示例。

代码经过详细注释，并设计得易于扩展。如果您在研究中使用了此代码，请考虑引用本仓库（下方提供 BibTeX 格式）。如果您从事 3D 视觉相关工作，我们最近发布的 Matterport3D 数据集也可能对您有所帮助。 该数据集由我们的客户采集的 3D 重建空间构成，这些客户同意将其公开供学术研究使用。您可以在 这里 查看更多示例。

快速入门

• demo.ipynb 是最简单的入门方式。它展示了如何使用在 MS COCO 数据集上预训练的模型来分割您自己的图像中的物体。 其中包含了在任意图像上运行目标检测和实例分割的代码。

• train_shapes.ipynb 展示了如何在自定义数据集上训练 Mask R-CNN。该笔记本引入了一个玩具数据集（Shapes），以演示如何在新数据集上进行训练。

• (model.py、utils.py、config.py)：这些文件包含了 Mask R-CNN 的核心实现。

• inspect_data.ipynb。该笔记本可视化了用于准备训练数据的不同预处理步骤。

• inspect_model.ipynb 该笔记本深入探讨了检测和分割物体所执行的各个步骤，并提供了整个流程中每一步的可视化结果。

• inspect_weights.ipynb 该笔记本检查了训练好的模型的权重，寻找异常和不寻常的模式。

分步检测

为了便于调试和理解模型，我们提供了 3 个笔记本 (inspect_data.ipynb、inspect_model.ipynb、 inspect_weights.ipynb)，它们提供了大量可视化内容，并允许逐步运行模型，以便在每个阶段检查输出。以下是一些示例：

1. 锚点排序与过滤

可视化了第一阶段区域建议网络的每一步操作，并展示了正负锚点以及锚框的精炼过程。

2. 边界框精炼

这是一个第二阶段最终检测框（虚线）及其应用的精炼结果（实线）的示例。

3. 掩码生成

生成的掩码示例。随后这些掩码会被缩放并放置到图像的正确位置。

4. 层激活

通常检查不同层的激活情况有助于发现潜在问题（如全零或随机噪声）。

5. 权重直方图

另一个有用的调试工具是检查权重的直方图。这些内容包含在 inspect_weights.ipynb 笔记本中。

6. 日志记录到 TensorBoard

TensorBoard 是另一个优秀的调试和可视化工具。该模型已配置为在每个 epoch 结束时记录损失并保存权重。

6. 将各个部分组合成最终结果

在 MS COCO 数据集上训练

我们提供了 MS COCO 数据集的预训练权重，以便您更轻松地开始。您可以将这些权重作为起点，训练您自己的网络变体。 训练和评估代码位于 samples/coco/coco.py 中。您可以在 Jupyter 笔记本中导入该模块（请参阅提供的笔记本示例），也可以直接通过命令行运行，如下所示：

# 从预训练的 COCO 权重开始训练新模型
python3 samples/coco/coco.py train --dataset=/path/to/coco/ --model=coco

# 从 ImageNet 权重开始训练新模型
python3 samples/coco/coco.py train --dataset=/path/to/coco/ --model=imagenet

# 继续训练之前已经训练过的模型
python3 samples/coco/coco.py train --dataset=/path/to/coco/ --model=/path/to/weights.h5

# 继续训练上次训练的模型。这将会在模型目录中找到最后训练的权重。
python3 samples/coco/coco.py train --dataset=/path/to/coco/ --model=last

您还可以使用以下命令运行 COCO 评估代码：

# 对上次训练的模型进行 COCO 评估
python3 samples/coco/coco.py evaluate --dataset=/path/to/coco/ --model=last

训练计划、学习率和其他参数应在 samples/coco/coco.py 中设置。

在自定义数据集上训练

首先阅读这篇关于气球颜色泼溅示例的博客文章《色彩的绽放：使用 Mask R-CNN 和 TensorFlow 进行实例分割》。它涵盖了从图像标注到训练，再到将结果应用于示例应用程序的完整流程。 简而言之，要在您的自定义数据集上训练模型，您需要扩展两个类：

Config 该类包含默认配置。请继承它并修改您需要更改的属性。

Dataset 该类提供了一种一致的方式来处理任何数据集。 它允许您使用新的数据集进行训练，而无需更改模型的代码。此外，它还支持同时加载多个数据集，这在您想要检测的对象并不都存在于一个数据集中时非常有用。

请参阅 samples/shapes/train_shapes.ipynb、samples/coco/coco.py、samples/balloon/balloon.py 和 samples/nucleus/nucleus.py 中的示例。

与官方论文的区别

本实现大部分遵循 Mask R-CNN 论文，但在某些地方为了代码的简洁性和通用性，我们做了一些调整。以下是我们已知的一些差异。如果您发现其他差异，请随时告知我们。

• 图像缩放： 为了支持每批次训练多张图像，我们将所有图像缩放为相同的尺寸。例如，在 MS COCO 数据集上使用 1024x1024 像素。我们会保持宽高比，因此如果图像不是正方形，我们会用零填充。而在论文中，缩放是使最短边为 800 像素，最长边则裁剪至 1000 像素。

• 边界框： 有些数据集提供边界框，而有些仅提供掩码。为了支持在多个数据集上进行训练，我们选择忽略数据集自带的边界框，转而实时生成它们。我们选取能够包围掩码所有像素的最小矩形作为边界框。这不仅简化了实现，还便于应用一些对边界框较难处理的数据增强技术，比如图像旋转。

  为了验证这一方法，我们将其计算出的边界框与 COCO 数据集提供的边界框进行了对比。结果显示，约 2% 的边界框相差 1 像素或以上，约 0.05% 的边界框相差 5 像素或以上，而仅有 0.01% 的边界框相差 10 像素或以上。

• 学习率： 论文中使用的学习率为 0.02，但我们发现这个值过高，容易导致权重爆炸，尤其是在小批量的情况下。这可能与 Caffe 和 TensorFlow 在梯度计算方式上的差异有关（即跨批次和 GPU 是求和还是取平均）。或者，官方模型可能使用了梯度裁剪来避免这个问题。虽然我们也使用梯度裁剪，但并未设置得过于激进。我们发现较小的学习率反而收敛得更快，因此我们选择了较低的学习率。

引用

请使用以下 BibTeX 格式引用本仓库：

@misc{matterport_maskrcnn_2017,
  title={Mask R-CNN for object detection and instance segmentation on Keras and TensorFlow},
  author={Waleed Abdulla},
  year={2017},
  publisher={Github},
  journal={GitHub repository},
  howpublished={\url{https://github.com/matterport/Mask_RCNN}},
}

贡献

欢迎为本仓库做出贡献。您可以贡献的内容包括：

• 性能优化，例如将部分 Python 代码重写为 TensorFlow 或 Cython 实现。
• 在其他数据集上进行训练。
• 提升模型精度。
• 可视化工具和示例。

您也可以 加入我们的团队，帮助我们开发更多类似项目。

环境要求

Python 3.4、TensorFlow 1.3、Keras 2.0.8，以及 requirements.txt 中列出的其他常用包。

MS COCO 特别要求：

若要在 MS COCO 数据集上进行训练或测试，您还需要：

• pycocotools（安装说明见下文）
• MS COCO 数据集
• 下载 5K 的 minival 和 35K 的 validation-minus-minival 子集。更多详情请参阅原始的 Faster R-CNN 实现。

如果您使用 Docker，代码已在 此 Docker 容器 上验证过可以正常运行。

安装步骤

1. 克隆本仓库

2. 安装依赖项

   pip3 install -r requirements.txt
   

3. 在仓库根目录下运行安装命令

   python3 setup.py install
   

4. 从 发布页面 下载预训练的 COCO 权重文件 mask_rcnn_coco.h5。

5. （可选）若要在 MS COCO 数据集上进行训练或测试，可以从以下仓库之一安装 pycocotools。这些仓库是原版 pycocotools 的分支，针对 Python 3 和 Windows 进行了修复（官方仓库似乎已不再维护）。

   • Linux 版本：https://github.com/waleedka/coco
   • Windows 版本：https://github.com/philferriere/cocoapi。您需要确保系统路径中包含 Visual C++ 2015 构建工具（详情请参阅相关仓库）。

使用本模型的项目

如果您将本模型扩展到其他数据集，或基于它构建相关项目，我们非常期待您的反馈。

4K 视频演示 by Karol Majek。

图片转 OSM：通过添加棒球、足球、网球、橄榄球和篮球场来改进 OpenStreetMap。

色彩点缀：一篇博客文章，详细介绍了如何从头训练该模型，并利用它实现色彩点缀效果。

显微镜图像中的细胞核分割。专为 2018 年数据科学碗竞赛 开发。

代码位于 samples/nucleus 目录中。

手术机器人检测与分割 by the NUS 控制与机电一体化实验室。

利用航空 LiDAR 数据重建三维建筑

由 Esri 与 Nvidia、迈阿密戴德县合作完成的概念验证项目。该项目由 Dmitry Kudinov、Daniel Hedges 和 Omar Maher 共同撰写并提供了代码。

Usiigaci：相位差显微镜下的无标记细胞追踪

来自日本的一项研究项目，旨在自动跟踪微流控平台中的细胞。论文尚未发表，但源代码已公开。

极高分辨率航空影像中的北极冰楔多边形特征分析

一项研究北极地区退化过程与气候变化之间复杂关系的项目。作者包括 Weixing Zhang、Chandi Witharana、Anna Liljedahl 和 Mikhail Kanevskiy。

Mask-RCNN Shiny

HU Shiyu 的计算机视觉课程项目，用于对人物图像应用色彩突出效果，取得了很好的效果。

地图绘制挑战：将卫星影像转换为地图，供人道主义组织使用。

用于从地理空间影像生成矢量掩膜的 GRASS GIS 插件。基于 Ondřej Pešek 的硕士论文。

Mask R-CNN 快速上手指南

Mask R-CNN 是一个基于 Python 3、Keras 和 TensorFlow 的目标检测与实例分割模型实现。该模型能够生成图像中每个物体实例的边界框和分割掩码，底层架构基于特征金字塔网络（FPN）和 ResNet101 骨干网络。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux 或 Windows (Windows 需额外配置编译工具)
• Python: 3.4+ (推荐 3.6+)
• 核心框架:
  • TensorFlow 1.3+ (注意：此版本主要针对 TF 1.x，若需在 TF 2.x 运行可能需要修改代码或使用兼容模式)
  • Keras 2.0.8+
• 其他依赖: 详见项目根目录下的 requirements.txt
• MS COCO 数据集支持 (可选): 如需训练或测试 MS COCO 数据集，需安装 pycocotools。
  • Linux: 推荐使用修复版 https://github.com/waleedka/coco
  • Windows: 推荐使用修复版 https://github.com/philferriere/cocoapi (需安装 Visual C++ 2015 Build Tools)

提示: 国内用户如遇 pip 下载缓慢，可临时使用清华或阿里镜像源： pip3 install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

请按顺序执行以下命令完成安装：

1. 克隆仓库

   git clone https://github.com/matterport/Mask_RCNN.git
   cd Mask_RCNN
   

2. 安装 Python 依赖

   pip3 install -r requirements.txt
   

3. 安装 Mask R-CNN 包 在项目根目录下运行 setup 脚本：

   python3 setup.py install
   

4. 下载预训练权重 从 Releases 页面 下载在 MS COCO 上预训练的权重文件 mask_rcnn_coco.h5，并将其放置在项目根目录或您指定的路径下。

5. (可选) 安装 pycocotools 如果您计划使用 MS COCO 数据集，请根据操作系统安装对应的 fork 版本：

   • Linux:

     pip3 install git+https://github.com/waleedka/coco.git#subdirectory=PythonAPI
     

   • Windows: 请参考 philferriere/cocoapi 仓库说明进行编译安装。

基本使用

最简单的入门方式是运行官方提供的 Jupyter Notebook 演示，它展示了如何加载预训练模型并对自定义图片进行实例分割。

方式一：运行 Demo Notebook (推荐)

启动 Jupyter Notebook 并打开演示文件：

jupyter notebook samples/demo.ipynb

在该 Notebook 中，您将看到完整的流程：

1. 加载预训练的 COCO 权重。
2. 读取任意图片。
3. 执行目标检测和实例分割。
4. 可视化结果（边界框、类别标签、彩色掩码）。

方式二：代码调用示例

如果您希望在 Python 脚本中直接调用，参考以下核心逻辑：

import os
import numpy as np
from mrcnn.config import Config
from mrcnn import model as modellib, utils
from mrcnn import visualize

# 1. 定义配置类 (继承自 Config)
class InferenceConfig(Config):
    NAME = "coco_inference"
    IMAGES_PER_GPU = 1
    NUM_CLASSES = 1 + 80  # COCO 有 80 个类别 + 背景

config = InferenceConfig()

# 2. 创建模型实例
model = modellib.MaskRCNN(mode="inference", config=config, model_dir="./logs")

# 3. 加载预训练权重
COCO_MODEL_PATH = "./mask_rcnn_coco.h5"  # 确保文件存在
model.load_weights(COCO_MODEL_PATH, by_name=True)

# 4. 运行检测
image = ... # 加载您的图片 (numpy array)
results = model.detect([image], verbose=1)

# 5. 获取结果
r = results[0]
# r['rois']: 边界框
# r['masks']: 掩码
# r['class_ids']: 类别 ID
# r['scores']: 置信度

# 6. 可视化结果
visualize.display_instances(image, r['rois'], r['masks'], r['class_ids'], 
                            class_names=class_names, scores=r['scores'])

进阶：训练自己的数据集

若要训练自定义数据集（如气球颜色飞溅示例），请参考 samples/balloon/balloon.py 或 samples/shapes/train_shapes.ipynb。核心步骤包括：

1. 子类化 Config 类以修改类别数和路径。
2. 子类化 Dataset 类以加载和预处理您的数据。
3. 调用 model.train() 开始训练。