MONAI Label

MONAI Label 是一款智能的开源医学影像标注与学习工具，使用户能够创建带标注的数据集，并构建用于临床评估的 AI 标注模型。MONAI Label 允许应用开发者以无服务器的方式构建标注应用，自定义标注应用可通过 MONAI Label Server 作为服务对外提供。

MONAI Label 是一个基于服务器-客户端架构的系统，利用 AI 技术促进交互式的医学影像标注。它是一个开源且易于安装的生态系统，可在本地单 GPU 或多 GPU 的机器上运行。服务器端和客户端可以运行在同一台或不同的机器上。其设计原则与 MONAI 保持一致。

如需了解更多详细信息，请参阅完整的 MONAI Label 文档，或观看我们的 MONAI Label 深度解析视频系列。

关于不同医学影像任务的应用和查看器工作流，请参考 MONAI Label 教程 系列。这些教程以笔记本形式呈现，提供详细的指导说明。

目录

• 概述
  • 亮点与特性
  • 支持的环境
• 开始使用 MONAI Label
  • 步骤 1. 安装
  • 步骤 2. MONAI Label 示例应用
  • 步骤 3. MONAI Label 支持的查看器
  • 步骤 4. 数据准备
  • 步骤 5. 启动 MONAI Label 服务器并开始标注！
• MONAI Label 教程
• 引用 MONAI Label
• 贡献
• 社区
• 其他资源

概述

MONAI Label 通过持续从用户交互和数据中学习，减少了标注新数据集所需的时间和精力，并使 AI 能够适应当前的任务。MONAI Label 允许研究人员和开发者像普通用户一样与他们的应用进行交互，从而不断改进应用。最终用户（如临床医生、技术人员和标注人员）则受益于 AI 的持续学习能力，使其能够更好地理解用户想要标注的内容。

MONAI Label 的目标是弥合开发人员创建新的标注应用程序与希望从这些创新中获益的最终用户之间的差距。

亮点与功能

• 用于开发和部署 MONAI Label 应用程序以训练和推理 AI 模型的框架
• 组合式且可移植的 API，便于集成到现有工作流中
• 可根据用户的专业水平自定义标注应用设计
• 支持通过 3DSlicer 和 OHIF 进行放射学标注
• 支持通过 QuPath、Digital Slide Archive 和 CVAT 进行病理学标注
• 支持通过 CVAT 进行内窥镜检查标注
• 通过 DICOMWeb 实现 PACS 连接
• 针对内窥镜检查的自动化主动学习工作流，使用 CVAT

支持矩阵

MONAI Label 支持 Model-Zoo 中的许多最先进（SOTA）模型，并将其与查看器和 monaibundle 应用程序集成。请参阅 monaibundle 应用页面，了解支持的模型，包括全身分割、全脑分割、肺结节检测、肿瘤分割等众多任务。

此外，您还可以找到一个表格，列出基本支持的领域、模态、查看器和通用数据类型。然而，这些只是我们明确测试过的选项，并不意味着您的数据集或文件类型无法与 MONAI Label 配合使用。请尝试将 MONAI 用于您的特定任务；如果遇到问题，请通过 GitHub Issues 与我们联系。

领域	模型	查看器	数据类型	影像模态/目标
放射学	分割 DeepGrow DeepEdit SAM2 (2D/3D)	3DSlicer MITK OHIF	NIfTI NRRD DICOM	CT MRI
病理学	DeepEdit NuClick 分割 分类 SAM2 (2D)	Digital Slide Archive QuPath CVAT	TIFF SVS	细胞核分割 细胞核分类
视频	DeepEdit 工具追踪 体内/体外 SAM2 (2D)	CVAT	JPG 3通道视频帧	内窥镜检查

开始使用 MONAI Label

使用 MONAI Label 开始需要几个步骤：

• 步骤 1：安装 MONAI Label
• 步骤 2：下载 MONAI Label 示例应用或编写您自己的自定义应用
• 步骤 3：安装兼容的查看器和受支持的 MONAI Label 插件
• 步骤 4：准备您的数据
• 步骤 5：启动 MONAI Label 服务器并开始标注！

步骤 1 安装

当前稳定版本

pip install -U monailabel

MONAI Label 支持以下启用了 GPU/CUDA 的操作系统。有关详细说明，请参阅安装指南。

• Ubuntu
• Windows

GPU 加速（可选依赖项）

以下是可选的依赖项，可以帮助您加速 MONAI 中的一些基于 GPU 的变换。如果您使用 projectmonai/monailabel Docker 镜像，则这些依赖项默认已启用。

• CUCIM
• CUPY
• CUDA Toolkit

开发版本

要安装 最新功能，您可以选择以下方式之一：

Git 检出（开发者模式）

  git clone https://github.com/Project-MONAI/MONAILabel
  pip install -r MONAILabel/requirements.txt
  export PATH=$PATH:`pwd`/MONAILabel/monailabel/scripts

如果您使用 DICOM-Web + OHIF，则需要单独构建 OHIF 包。请参阅 [此处](https://github.com/Project-MONAI/MONAILabel/tree/main/plugins/ohif#development-setup)。

Docker

docker run --gpus all --rm -ti --ipc=host --net=host projectmonai/monailabel:latest bash

SAM-2

默认情况下，当 python >= 3.10 时，所有应用都会包含 SAM2 模型。

• sam_2d：适用于给定切片/2D图像上的任何器官或组织等。
• sam_3d：支持在多个切片上进行 SAM2 传播（放射科/MONAI-Bundle）。

如果您使用 pip install monailabel，默认会使用 SAM-2 模型。
要使用 SAM-2.1，请采用以下任一方式：

• 使用 MONAI Label 的 Docker 而不是 pip 包
• 在开发模式下运行 MONAI Label（通过 git checkout）
• 如果您已通过 pip 安装了 MONAI Label，请先卸载 sam2 包 pip uninstall sam2，然后运行 pip install -r requirements.txt，或者从其 GitHub 上安装最新的 SAM-2。

第2步 MONAI Label 示例应用

放射科

此应用提供了用于对放射科（3D）图像进行交互式和自动化分割的示例模型。其中包括使用最新深度学习模型（如 UNet、UNETR）对多个腹部器官进行自动分割的功能。交互式工具包括 DeepEdit 和 Deepgrow，可用于主动改进训练好的模型并进行部署。

• Deepedit
• Deepgrow
• 分割
• 脾脏分割
• 多阶段椎体分割

病理学

此应用提供了用于对病理学（WSI）图像进行交互式和自动化分割的示例模型。其中包括针对肿瘤细胞、炎症细胞、结缔组织/软组织细胞、死亡细胞和上皮细胞的多标签核分割。该应用还提供交互式工具，如用于交互式核分割的 DeepEdits。

• Deepedit
• Deepgrow
• 分割
• 脾脏分割
• 多阶段椎体分割

视频

内窥镜应用使用户能够对内窥镜用途的 2D 图像使用交互式、自动化分割和分类模型。结合 CVAT，它将演示一个完全自动化的主动学习工作流，用于训练和微调模型。

• Deepedit
• 工具跟踪
• 体内/体外

捆绑包

捆绑包应用允许用户为任何目标解剖结构使用自定义模型进行推理、训练或前后处理。MONAI Label 集成捆绑包应用的规范链接到归档的模型库，用于自定义标注（例如，第三方转换器模型用于标注肾皮质、髓质和肾盂肾盏系统）。还包括交互式工具，如 DeepEdits。

有关支持的全部捆绑包列表，请参阅 MONAI Label 捆绑包 README。

第3步 MONAI Label 支持的查看器

放射科

3D Slicer

3D Slicer 是一个免费且开源的平台，用于分析、可视化和理解医学影像数据。在 MONAI Label 中，3D Slicer 已被广泛测试用于放射科研究和算法、开发及集成。

3D Slicer 设置

MITK

医学影像交互工具包（MITK）是一个开源、独立的医学影像平台。MONAI Label 已部分集成到 MITK Workbench 中，这是一款功能强大且免费的应用程序，可用于查看、处理和分割医学影像。MONAI Label 工具在 MITK 中主要针对放射科和捆绑包应用进行推理测试，支持自动和基于点击的交互式模型。

MITK 设置

OHIF

开放健康影像基金会（OHIF）查看器是一个开源、基于 Web 的医学影像平台。其目标是提供构建复杂影像应用程序的核心框架。

OHIF 设置

病理学

QuPath

定量病理学与生物图像分析（QuPath）是一个开放、强大、灵活且可扩展的软件平台，用于生物图像分析。

QuPath 设置

数字玻片档案

数字玻片档案（DSA）是一个平台，提供存储、管理、可视化和标注大型影像数据集的能力。 数字玻片档案设置

视频

CVAT

CVAT 是一款用于计算机视觉的交互式视频和图像标注工具。 CVAT 设置

第4步 数据准备

在数据准备方面，您有两种选择：可以使用本地数据存储，也可以使用任何支持 DICOMWeb 的影像存档工具。

放射科应用中单模态图像的本地数据存储

对于本地文件存档中的数据存储，MONAI Label 使用一套固定的文件夹结构。请将您的图像数据放入文件夹中，如果有分割文件，则创建名为 labels/final 的子文件夹并将它们放入其中。示例如下：

dataset
│-- spleen_10.nii.gz
│-- spleen_11.nii.gz
│   ...
└───labels
    └─── final
        │-- spleen_10.nii.gz
        │-- spleen_11.nii.gz
        │   ...

如果您没有标签，只需将图像/体积放置在 dataset 文件夹中即可。

DICOMWeb 支持

如果您使用的查看器支持 DICOMweb 标准，您可以使用它代替本地数据存储来向 MONAI Label 提供图像。启动 MONAI Label 服务器时，我们需要在 studies 参数中指定 DICOMweb 服务的 URL（以及可选的需要身份验证的 DICOM 服务器的用户名和密码）。以下是使用 DICOMweb URL 启动 MONAI Label 服务器的示例：

monailabel start_server --app apps/radiology --studies http://127.0.0.1:8042/dicom-web --conf models segmentation

第5步 启动 MONAI Label 服务器并开始标注

现在您已经准备好使用 MONAI Label 了。配置好查看器、应用和数据存储后，您可以使用相关参数启动 MONAI Label 服务器。为了简单起见，下面是一个下载放射科示例应用和数据集，然后启动 MONAI Label 服务器的示例：

monailabel apps --download --name radiology --output apps
monailabel datasets --download --name Task09_Spleen --output datasets
monailabel start_server --app apps/radiology --studies datasets/Task09_Spleen/imagesTr --conf models segmentation

注意： 如果您想处理不同于默认建议的标签，请按照此处的说明更改配置文件：https://youtu.be/KtPE8m0LvcQ?t=622

MONAI Label 教程

内容

• 放射科应用：
  • 查看器：3D Slicer | 数据存储：本地 | 任务：分割
    • MONAILabel：HelloWorld：使用 3D Slicer 设置进行脾脏分割。
  • 查看器：OHIF | 数据存储：本地 | 任务：分割
    • MONAILabel：基于 Web 的 OHIF 查看器：使用 OHIF 设置进行脾脏分割。
• MONAIBUNDLE 应用：
  • 查看器：3D Slicer | 数据存储：本地 | 任务：分割
    • MONAILabel：使用 3D Slicer 进行胰腺肿瘤分割：在 3D Slicer 中使用 CT 扫描进行胰腺和肿瘤分割。
    • MONAILabel：使用 3D Slicer 进行多器官分割：在 3D Slicer 中使用 CT 扫描进行多器官分割。
    • MONAILabel：使用 3D Slicer 进行全身 CT 分割：使用 CT 扫描进行全身（104 个结构）分割。
    • MONAILabel：使用 3D Slicer 检测肺结节 CT：使用 CT 扫描执行肺结节检测任务。
• 病理学应用：
  • 查看器：QuPath | 数据存储：本地 | 任务：分割
    • MONAILabel：使用 QuPath 进行细胞核分割：使用 QuPath 设置和 Nuclick 模型进行细胞核分割。
• 内窥镜应用：
  • 查看器：CVAT | 数据存储：本地 | 任务：分割
    • MONAILabel：使用 CVAT 进行器械跟踪：使用 CVAT/Nuclio 设置进行手术器械分割。

引用

如果您在研究中使用了 MONAI Label，请使用以下引用：

@article{DiazPinto2022monailabel,
   author = {Diaz-Pinto, Andres and Alle, Sachidanand and Ihsani, Alvin and Asad, Muhammad and
            Nath, Vishwesh and P{\'e}rez-Garc{\'\i}a, Fernando and Mehta, Pritesh and
            Li, Wenqi and Roth, Holger R. and Vercauteren, Tom and Xu, Daguang and
            Dogra, Prerna and Ourselin, Sebastien and Feng, Andrew and Cardoso, M. Jorge},
    title = {{MONAI Label: 用于 3D 医学图像 AI 辅助交互式标注的框架}},
  journal = {arXiv e-prints},
     year = 2022,
     url  = {https://arxiv.org/pdf/2203.12362.pdf}
}

@inproceedings{DiazPinto2022DeepEdit,
      title={{DeepEdit：用于 3D 医学图像交互式分割的深度可编辑学习}},
      author={Diaz-Pinto, Andres and Mehta, Pritesh and Alle, Sachidanand and Asad, Muhammad and Brown, Richard and Nath, Vishwesh and Ihsani, Alvin and Antonelli, Michela and Palkovics, Daniel and Pinter, Csaba and others},
      booktitle={MICCAI 关于数据增强、标注和缺陷的研讨会},
      pages={11--21},
      year={2022},
      organization={Springer}
}

可选引用：如果您使用了 MONAI Label 中的主动学习功能，请支持我们：

@article{nath2020diminishing,
  title={训练集中的不确定性逐渐降低：医学图像分割的主动学习},
  author={Nath, Vishwesh and Yang, Dong and Landman, Bennett A and Xu, Daguang and Roth, Holger R},
  journal={IEEE 医学成像汇刊},
  volume={40},
  number={10},
  pages={2534--2547},
  year={2020},
  publisher={IEEE}
}

贡献

有关如何为 MONAI Label 做出贡献的指导，请参阅 贡献指南。

社区

在 Twitter 上加入讨论 @ProjectMONAI，或加入我们的 Slack 频道。

您还可以在 MONAI Label 的 GitHub 讨论页上提问和回答问题。

其他资源

• 官网：https://project-monai.github.io/
• API 文档：https://monai.readthedocs.io/projects/label
• 代码：https://github.com/Project-MONAI/MONAILabel
• 项目跟踪器：https://github.com/Project-MONAI/MONAILabel/projects
• 问题跟踪器：https://github.com/Project-MONAI/MONAILabel/issues
• 维基：https://github.com/Project-MONAI/MONAILabel/wiki
• 测试状态：https://github.com/Project-MONAI/MONAILabel/actions
• PyPI 包：https://pypi.org/project/monailabel/
• Docker Hub：https://hub.docker.com/r/projectmonai/monailabel
• 客户端 API：https://www.youtube.com/watch?v=mPMYJyzSmyo
• 演示视频：https://www.youtube.com/c/ProjectMONAI

MONAI Label 快速上手指南

MONAI Label 是一个智能开源的医学图像标注与学习工具，旨在通过 AI 辅助减少标注时间。它采用服务器 - 客户端架构，支持放射科、病理科及内窥镜等多种场景的交互式标注，并支持主动学习工作流。

1. 环境准备

系统要求

• 操作系统: Ubuntu 或 Windows (推荐 Linux 以获得最佳 GPU 支持)
• Python 版本: Python >= 3.8 (若需使用默认的 SAM2 模型，建议 Python >= 3.10)
• 硬件加速: 推荐使用配备 CUDA 支持的 NVIDIA GPU

前置依赖

确保已安装以下基础组件：

• CUDA Toolkit: 用于 GPU 加速 (根据显卡驱动版本安装对应版本)
• 可选加速库:
  • CUCIM (NVIDIA Clara 加速库)
  • CuPy (GPU 加速数组库)

注意: 若使用官方 Docker 镜像 (projectmonai/monailabel)，上述 GPU 依赖默认已包含。

2. 安装步骤

方式一：通过 PyPI 安装（推荐稳定版）

直接使用 pip 安装最新稳定版本：

pip install -U monailabel

国内加速建议: 如遇下载缓慢，可使用清华或阿里镜像源：

pip install -U monailabel -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：通过 Docker 运行（最简便，含所有依赖）

无需配置本地环境，直接拉取包含完整依赖的镜像：

docker run --gpus all --rm -ti --ipc=host --net=host projectmonai/monailabel:latest bash

方式三：开发模式安装（获取最新特性）

如需体验最新功能或使用 SAM-2.1 模型：

git clone https://github.com/Project-MONAI/MONAILabel
cd MONAILabel
pip install -r requirements.txt
export PATH=$PATH:`pwd`/monailabel/scripts

3. 基本使用

MONAI Label 的工作流程分为五步：安装 -> 准备应用 -> 准备查看器 -> 准备数据 -> 启动服务。

第一步：获取示例应用

MONAI Label 提供了针对放射科（Radiology）、病理科（Pathology）和视频（Video）的预训练示例应用。 您可以从 GitHub 下载 sample-apps，或使用内置命令初始化。以下以放射科分割为例，假设您已将示例应用下载到本地目录 ./apps。

第二步：准备数据

创建一个文件夹存放您的医学图像数据（支持 NIfTI, NRRD, DICOM 等格式）。

mkdir ./data
# 将您的医学图像文件放入 ./data 目录

第三步：启动 MONAI Label 服务器

使用命令行启动服务器，指定应用路径和数据路径。以下命令启动一个基于放射科分割示例应用的服务器：

monailabel start_server \
  --app ./apps/radiology \
  --studies ./data \
  --conf models segment_spleen \
  --host 0.0.0.0 \
  --port 8000

参数说明:

• --app: 选择的应用目录（如 radiology, pathology 等）
• --studies: 待标注的数据目录
• --conf models: 指定初始加载的模型名称

第四步：连接客户端进行标注

服务器启动后，您需要安装支持的客户端查看器插件来连接服务器进行交互式标注。

推荐客户端:

• 3D Slicer (放射科首选): 安装 MONAI Label Plugin 插件。
• OHIF Viewer (Web 端): 适用于放射科 DICOM 数据。
• QuPath / CVAT: 适用于病理科或内窥镜视频。

操作流程:

1. 打开 3D Slicer 并启用 MONAI Label 插件。
2. 在插件设置中输入服务器地址（例如：http://localhost:8000）。
3. 点击连接，加载数据集中的图像。
4. 使用 AI 辅助工具（如 DeepEdit, Segment Anything）进行点击或框选，模型将实时返回分割结果。
5. 修正标注并保存，系统将利用新标注数据持续优化模型（主动学习）。

---

更多详细教程和特定任务的工作流，请参考 MONAI Label Tutorials。