● 医学 SAM 适配器

医学 SAM 适配器（或称 MSA）是一个针对医学影像，利用 Adaption (适配技术) 对 SAM (Segment Anything Model) 进行 [finetune (微调)] 的项目。 该方法在论文 Medical SAM Adapter: Adapting Segment Anything Model for Medical Image Segmentation 中有详细阐述。

快速概览

更新

• [置顶] 加入我们的 Discord 提问并与其他人讨论。
• [置顶] 24-03-02 我们已在 Medical-Adapter-Zoo 发布了预训练的 Adapters（适配器）。无需痛苦训练即可尝试 😉 致谢：@shinning0821
• 23-05-10. 本项目仍在快速更新中 🌝。查看 TODO 列表以了解下一个发布内容。
• 23-05-11. GitHub Discussion 已开启。你们现在可以在游乐场里聊天、写代码和交朋友 👨‍❤️‍👨。
• 23-12-22. 在 REFUGE 数据集上发布了数据加载器 (data loader) 和示例案例。致谢：@jiayuanz3
• 24-01-04. 发布了高效 Med-SAM-Adapter❗️这是一个新的、更快且更轻量级的版本，融合了 Meta EfficientSAM🏇。全部归功于 @shinning0821。
• 24-01-07. 图像分辨率现在可以通过 -image_size 进行调整。致谢：@shinning0821
• 24-01-11. 添加了关于如何使用高效 Med-SAM-Adapter 的详细指南，包含性能和速度对比。你可以在 guidance/efficient_sam.ipynb 找到此资源。致谢：@shinning0821
• 24-01-14. 我们刚刚发布了首个正式版本 v0.1.0-alpha 🥳。此版本支持 MobileSAM，可通过设置 -net mobile_sam 激活。此外，你现在可以灵活地使用 ViT (视觉 transformer)、Tiny ViT 和 Efficient ViT 作为编码器 (encoder)。详情请点击 这里。致谢：@shinning0821
• 24-01-20. 添加了在 Med-SAM-Adapter 中使用 Mobile SAM 的指南，包含性能和速度对比。你可以在 guidance/mobile_sam.ipynb 找到它。致谢：@shinning0821
• 24-01-21. 我们在框架中加入了 LoRA (低秩适应)🤖。通过将 -mod 设置为 sam_lora 来使用它。指南可在 此处 找到。致谢：@shinning0821
• 24-01-22. 我们为 LIDC 数据集 添加了数据加载器 (dataloader)，这是来自低剂量肺部 CT 的多评分者 (4 位评分者 👨‍⚕️🧑🏽‍⚕️👩‍⚕️🧑🏽‍⚕️) 病灶分割数据 🩻。你可以在 此处 下载预处理后的 LIDC 数据集。同时更新了环境及 random_click 函数。致谢：@jiayuanz3
• 24-03-06. 我们支持了多类别分割。通过将 -multimask_output 设置为所需的类别数量来使用它。同时将 REFUGE 示例更新为两个类别（视盘和视杯）。致谢：@LJQCN101
• 24-03-06. 我们支持了许多其他数据集，并重写了数据集和数据加载器的代码。详见 guidance/Dataset.md。致谢：@shinning0821

Medical Adapter Zoo 🐘🐊🦍🦒🦨🦜🦥

我们已在 Medical-Adapter-Zoo 中发布了一系列针对各种器官/病变的预训练适配器 (Adapter)。只需选择匹配你疾病的适配器，即可轻松调整 SAM (Segment Anything Model) 以适应你的特定需求 😉。

如果你找不到想要的，请通过任何可用的联系方式建议我们（GitHub issue、HuggingFace community 或 Discord）。我们将竭尽全力将其纳入。

Requirement

安装环境：

conda env create -f environment.yml

conda activate sam_adapt

然后下载 SAM checkpoint，并将其放在 ./checkpoint/sam/ 目录下。

你可以运行：

wget https://dl.fbaipublicfiles.com/segment_anything/sam_vit_b_01ec64.pth

mv sam_vit_b_01ec64.pth ./checkpoint/sam 如果文件夹不存在则创建该文件夹

Example Cases

Melanoma Segmentation from Skin Images (2D)

1. 从 https://challenge.isic-archive.com/data/ 下载 ISIC 数据集第 1 部分。然后将 csv 文件放入数据路径下的"./data/isic"中。你在 "your_data_path" 下的数据集文件夹结构应如下所示： ISIC/ ISBI2016_ISIC_Part1_Test_Data/...

   ISBI2016_ISIC_Part1_Training_Data/...

   ISBI2016_ISIC_Part1_Test_GroundTruth.csv

   ISBI2016_ISIC_Part1_Training_GroundTruth.csv

   你可以在 这里 找到 csv 文件

2. 开始适配！运行：python train.py -net sam -mod sam_adpt -exp_name *msa_test_isic* -sam_ckpt ./checkpoint/sam/sam_vit_b_01ec64.pth -image_size 1024 -b 32 -dataset isic -data_path *../data* 更改 "data_path" 和 "exp_name" 以符合你自己的使用习惯。你可以将 "exp_name" 更改为你想要的任何内容。

如果内存不足，可以降低 image size 或批次大小 b。

3. 评估：代码可以在训练期间自动在测试集上评估模型，设置 "--val_freq" 来控制你想每隔多少轮次评估一次。你也可以运行 val.py 进行独立评估。

4. 结果可视化：你可以设置 "--vis" 参数来控制你想在训练或评估过程中查看多少轮次的结果。

默认情况下，所有内容都将保存在 ./logs/ 目录下。

REFUGE: Optic-disc Segmentation from Fundus Images (2D)

REFUGE 数据集包含 1200 张带有视盘/杯分割和临床青光眼标签的眼底图像。

1. 手动从 这里 下载数据集，或使用命令行：

git lfs install

git clone git@hf.co:datasets/realslimman/REFUGE-MultiRater

解压并将数据集放入目标文件夹

unzip ./REFUGE-MultiRater.zip

mv REFUGE-MultiRater ./data

2. 对于训练适配器，运行：python train.py -net sam -mod sam_adpt -exp_name REFUGE-MSAdapt -sam_ckpt ./checkpoint/sam/sam_vit_b_01ec64.pth -image_size 1024 -b 32 -dataset REFUGE -data_path ./data/REFUGE-MultiRater 你可以将 "exp_name" 更改为你想要的任何内容。

如果内存不足，可以降低 image size 或批次大小 b。

Abdominal Multiple Organs Segmentation (3D)

本教程演示了如何使用 BTCV 挑战数据集让 MSA (Medical Segment Anything) 适配 SAM 到 3D 多器官分割任务。 对于 BTCV 数据集，在机构审查委员会 (IRB) 的监督下，从正在进行的结直肠癌化疗试验和回顾性腹壁疝研究中随机选择了 50 例腹部 CT 扫描。这 50 次扫描是在门静脉造影期捕获的，具有可变的体积大小 (512 x 512 x 85 - 512 x 512 x 198) 和视野 (约 280 x 280 x 280 mm³ - 500 x 500 x 650 mm³)。平面内分辨率从 0.54 x 0.54 mm² 变化到 0.98 x 0.98 mm²，而层厚范围从 2.5 mm 到 5.0 mm。 目标：13 个腹部器官，包括 脾脏 右肾 左肾 胆囊 食管 肝脏 胃 主动脉 下腔静脉 (IVC) 门静脉和脾静脉 胰腺 右肾上腺 左肾上腺。 模态：CT 大小：30 个 3D 数据体 (24 个训练 + 6 个测试) 挑战：BTCV MICCAI 挑战 下图展示了 CT 中标注的器官子区域图像块（左上）和整个数据集的最终标签（右侧）。

1. 按照 MONAI 说明准备 BTCV 数据集： 从以下地址下载 BTCV 数据集：https://www.synapse.org/#!Synapse:syn3193805/wiki/217752。打开链接后，导航到"Files"选项卡，然后下载 Abdomen/RawData.zip。 下载 zip 文件后，解压。然后将 RawData/Training/img 中的图像放入 ../data/imagesTr，将 RawData/Training/label 中的标签放入 ../data/labelsTr。 从 此链接 下载数据划分的 json 文件。将 JSON 文件放置在 ../data/dataset_0.json 处。
2. 对于适配，运行：python train.py -net sam -mod sam_adpt -exp_name msa-3d-sam-btcv -sam_ckpt ./checkpoint/sam/sam_vit_b_01ec64.pth -image_size 1024 -b 8 -dataset decathlon -thd True -chunk 96 -data_path ../data -num_sample 4
   你可以修改以下参数以节省内存使用：'-b' 批次大小，'-chunk' 每个样本的 3D 深度（通道），'-num_sample' Monai.RandCropByPosNegLabeld 的样本数量，'evl_chunk' 评估中的 3D 通道分割步长，如果在评估时内存不足，请减小它。

在您的自定义数据集上运行

在其他数据集上运行 MSA (Medical SAM Adapter) 很简单。只需参照 ./dataset.py 中的示例编写另一个数据集类。您只需要确保返回一个包含以下内容的字典： { 'image': 保存图像的张量 (tensor)，2D 图像大小为 [C,H,W]，3D 数据大小为 [C, H, W, D]。 D 是 3D 体积的深度，C 是扫描/帧的通道数，CT、MRI、US 数据通常为 1。 如果处理如彩色手术视频等内容，D 可以是时间帧的数量，RGB 帧的 C 为 3。 'label': 目标掩码。尺寸与图像相同（分辨率 H 和 W 除外）。 'p_label': 提示标签，用于决定正/负提示。为简化起见，若不需要负提示功能，可始终设为 1。 'pt': 提示。应与 SAM (Segment Anything Model) 中的一致，例如点击提示应为 [点击 x 坐标，点击 y 坐标]，如果使用 3D 数据，每个扫描/帧有一个点击。 'image_meta_dict': 可选。如果您想保存/可视化结果，应在其中放入图像名称，键为 ['filename_or_obj']。 ...(其他按需添加) } 如果您遇到任何问题，欢迎提交 Issue。如果您能贡献您的数据集扩展，我们将不胜感激。与自然图像不同，医学图像因任务不同而有很大差异。扩展方法的泛化能力需要大家的共同努力。

TODO 列表

• Jupyter 教程。
• 修复 BTCV 中的 Bug。添加 BTCV 示例。
• 发布 REFUGE2、BraTs 的数据加载器和示例
• 可变图像分辨率
• 修复多 GPU 并行中的 Bug
• 训练时的采样和可视化
• 发布通用的数据预处理和后处理
• 发布评估代码
• 部署到 HuggingFace
• 配置
• 发布 SSL (自监督学习) 代码
• 发布医疗适配器库

引用

@misc{wu2023medical,
      title={Medical SAM Adapter: Adapting Segment Anything Model for Medical Image Segmentation}, 
      author={Junde Wu and Wei Ji and Yuanpei Liu and Huazhu Fu and Min Xu and Yanwu Xu and Yueming Jin},
      year={2023},
      eprint={2304.12620},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Medical-SAM-Adapter 快速上手指南

Medical-SAM-Adapter (MSA) 是一个基于 SAM 的开源项目，通过适配器技术（Adaption/LoRA）针对医学影像进行微调，实现高精度的医学图像分割。支持 2D（皮肤、眼底等）和 3D（CT/MRI）任务。

环境准备

• 系统要求: Linux / macOS / Windows (WSL)
• 依赖: Python 3.x, PyTorch, CUDA (建议版本与 environment.yml 匹配)
• 前置资源: 需下载官方 SAM 权重文件并放置到指定目录。

安装步骤

1. 克隆仓库

   git clone https://github.com/WuJunde/Medical-SAM-Adapter.git
   cd Medical-SAM-Adapter
   

2. 创建虚拟环境

   conda env create -f environment.yml
   conda activate sam_adapt
   

3. 下载 SAM 检查点 将 SAM 模型权重下载至 ./checkpoint/sam/ 目录下：

   mkdir -p ./checkpoint/sam
   wget https://dl.fbaipublicfiles.com/segment_anything/sam_vit_b_01ec64.pth
   mv sam_vit_b_01ec64.pth ./checkpoint/sam/
   

基本使用

训练示例 (以 ISIC 黑色素瘤分割为例)

1. 准备数据 下载 ISIC 数据集并将 CSV 标签文件放入 ./data/isic 目录。

2. 启动训练 运行以下命令开始微调。请根据实际路径修改 -data_path 和 -exp_name。

   python train.py -net sam -mod sam_adpt -exp_name msa_test_isic -sam_ckpt ./checkpoint/sam/sam_vit_b_01ec64.pth -image_size 1024 -b 32 -dataset isic -data_path ../data
   

   • -net: 选择网络架构 (如 sam)
   • -mod: 选择微调模式 (如 sam_adpt, sam_lora)
   • -image_size: 输入图像分辨率
   • -b: Batch Size (显存不足时可减小)

3. 评估与可视化

   • 训练过程中自动评估，可通过 --val_freq 控制频率。
   • 独立评估：运行 python val.py。
   • 结果可视化：设置 --vis 参数查看训练或评估过程中的结果。
   • 默认输出保存在 ./logs/ 目录。

其他任务配置

• 3D 腹部器官分割 (BTCV):

  python train.py -net sam -mod sam_adpt -exp_name msa-3d-sam-btcv -sam_ckpt ./checkpoint/sam/sam_vit_b_01ec64.pth -image_size 1024 -b 8 -dataset decathlon -thd True -chunk 96 -data_path ../data -num_sample 4
  

• 多类别分割: 设置 -multimask_output 为类别数量。
• 高效版/移动端: 支持 EfficientSAM 和 MobileSAM，详见 guidance/ 下的 Jupyter Notebook 教程。

预训练模型推荐

若无需从头训练，可直接使用已发布的预训练 Adapter：

• 地址: Medical-Adapter-Zoo
• 用法: 下载对应器官/病变的适配器权重，替换训练时的相应配置即可。