TransMorph：用于无监督医学图像配准的Transformer

关键词：视觉Transformer、Swin Transformer、卷积神经网络、图像配准

这是我的论文的PyTorch实现：

Chen, Junyu, 等.“TransMorph：用于无监督医学图像配准的Transformer。”《医学图像分析》，第102615页，2022年。

此处为勘误，更正了论文中的若干错别字。

新功能与更新

2025年5月22日 - 我们开发了一个轻量级配准工具包，包含多款性能优异的模型，并提供了在一些公开数据集和基准测试上部署这些模型的教程。详情请见这里
2024年9月12日 - 我们基于TransMorph构建了一个用于脑部MRI配准的Docker镜像。详情请见这里！
2022年9月3日 - TransMorph论文已被《医学图像分析》期刊正式接收发表！根据审稿人意见，后续还将进行一些修改。
2022年3月24日 - 在MICCAI 2021 L2R挑战赛的任务03（脑部MR）TEST集上，TransMorph目前排名第一（结果由Learn2Reg挑战赛主办方提供）。训练脚本、数据集以及预训练模型均可在此获取：TransMorph on OASIS
2022年2月3日 - 在MICCAI 2021 L2R挑战赛的任务03（脑部MR）VALIDATION集上，TransMorph目前排名第一。
2021年12月29日 - 我们已公开发布预处理后的IXI数据集及预训练模型！更多信息请参阅此页面：TransMorph on IXI

TransMorph DIR变体：

TransMorph共有四种变体：TransMorph、TransMorph-diff、TransMorph-bspl和TransMorph-Bayes。
训练与推理脚本位于TransMorph/目录下，模型则存放在TransMorph/model/中。

1. TransMorph： 一种用于图像配准的混合Transformer-ConvNet网络。
2. TransMorph-diff： 一种确保微分同胚性的概率型TransMorph。
3. TransMorph-bspl： 一种同样确保微分同胚性的B样条TransMorph。
4. TransMorph-Bayes： 一种能够输出配准不确定性估计的贝叶斯不确定性TransMorph。

TransMorph仿射模型：

TransMorph affine模型的相关脚本位于TransMorph_affine/文件夹内。

2023年11月17日 - 我们提供了一个使用IXI数据集子集训练TransMorph-affine的示例代码，详见这里。

train_xxx.py和infer_xxx.py分别是TransMorph模型的训练与推理脚本。

损失函数：

TransMorph同时支持单模态和多模态配准。我们提供了以下用于图像相似性度量的损失函数（链接可直接跳转至代码）：

1. 均方误差（MSE）
2. 归一化互相关（NCC）
3. 结构相似性指数（SSIM）
4. 互信息（MI）
5. 局部互信息（LMI）
6. 具有自相似上下文的模态无关邻域描述符（MIND-SSC）

此外，还提供了以下形变正则化项：

1. 扩散
2. L1正则化
3. 各向异性扩散
4. 弯曲能量

基线模型：

我们对比了TransMorph与八种基线配准方法以及四种Transformer架构。
以下链接将带您前往它们的官方仓库。

基线配准方法：
训练与推理脚本位于 Baseline_registration_models/

1. SyN/ANTsPy（官方网站）
2. NiftyReg（官方网站）
3. LDDMM（官方网站）
4. deedsBCV（官方网站）
5. VoxelMorph-1 & -2（官方网站）
6. CycleMorph（官方网站）
7. MIDIR（官方网站）

基线Transformer架构：
训练与推理脚本位于 Baseline_Transformers/

1. PVT（官方网站）
2. nnFormer（官方网站）
3. CoTr（官方网站）
4. ViT-V-Net（官方网站）

约翰霍普金斯大学脑部MRI与杜克大学CT数据集：

由于相关限制，我们无法公开分发我们的脑部MRI和CT数据。不过，目前网络上已有一些公开的脑部MRI数据集可供使用，例如ADNI、OASIS、ABIDE等。请注意，这些数据集可能不包含标签（分割信息）。若需生成标签，可以使用FreeSurfer软件，这是一款用于标准化脑部MRI图像的开源工具。以下是FreeSurfer中的一些实用命令：使用FreeSurfer进行脑部MRI预处理及皮层下结构分割。

您可以在下一节找到我们预处理过的IXI数据集。

IXI数据集上的可复现结果：

您可以在此处找到预处理后的IXI数据集、预训练的基础模型和TransMorph模型，以及针对IXI数据集的训练与推理脚本：→ TransMorph在IXI数据集上的应用

OASIS数据集上的可复现结果：

您可以在此处找到预处理后的OASIS数据集、预训练的基础模型和TransMorph模型，以及针对OASIS数据集的训练与推理脚本：→ TransMorph在OASIS数据集上的应用

从零开始使用Docker进行脑部MRI图像配准：

您可以在这里找到如何将TransMorph应用于去颅骨的MRI图像的详细说明：→ 此处。

引用：

如果您在研究中使用了本代码并认为其有所帮助，请考虑引用以下文献：

@article{chen2022transmorph,
title = {TransMorph: 用于无监督医学图像配准的Transformer},
journal = {Medical Image Analysis},
pages = {102615},
year = {2022},
issn = {1361-8415},
doi = {https://doi.org/10.1016/j.media.2022.102615},
url = {https://www.sciencedirect.com/science/article/pii/S1361841522002432},
author = {Junyu Chen、Eric C. Frey、Yufan He、William P. Segars、Ye Li、Yong Du}
}

TransMorph架构：

示例结果：

定性比较：

TransMorph-Bayes的不确定性估计：

定量结果：

患者间脑部MRI配准：

XCAT到CT的配准：

参考文献：

Swin Transformer
easyreg
MIDIR
VoxelMorph

关于我

TransMorph 医学图像配准快速上手指南

TransMorph 是一个基于 Transformer 的无监督医学图像配准框架，支持多种变体（如 Diff、B-spline、Bayes）及多模态配准。本指南将帮助您快速搭建环境并运行基础示例。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04+) 或 macOS。Windows 用户建议使用 WSL2 或 Docker。
• Python: 3.8 或更高版本。
• GPU: 推荐使用 NVIDIA GPU (CUDA 11.0+) 以加速训练和推理。
• 依赖库:
  • PyTorch (1.9+)
  • NumPy
  • SciPy
  • SimpleITK
  • NiBabel
  • scikit-image

国内加速建议：安装 Python 包时，推荐使用清华或阿里镜像源以提升下载速度。

2. 安装步骤

2.1 克隆仓库

首先从 GitHub 克隆项目代码：

git clone https://github.com/junyuchen245/TransMorph_Transformer_for_Medical_Image_Registration.git
cd TransMorph_Transformer_for_Medical_Image_Registration

2.2 创建虚拟环境并安装依赖

建议使用 conda 创建独立环境，并使用国内镜像源安装 PyTorch 和其他依赖。

# 创建 conda 环境
conda create -n transmorph python=3.8 -y
conda activate transmorph

# 安装 PyTorch (使用清华镜像，根据实际 CUDA 版本调整，此处以 cu118 为例)
pip install torch torchvision torchaudio --index-url https://pypi.tuna.tsinghua.edu.cn/simple

# 安装其他依赖
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

注：如果仓库根目录下没有 requirements.txt 文件，请手动安装核心依赖：

pip install numpy scipy SimpleITK nibabel scikit-image matplotlib -i https://pypi.tuna.tsinghua.edu.cn/simple

2.3 数据准备

由于版权限制，项目未直接提供 JHU Brain MRI 或 Duke CT 原始数据。您可以：

1. 使用公开数据集：如 OASIS, ADNI, ABIDE 等。
2. 使用预处理好的 IXI 数据集：作者提供了预处理后的数据和预训练模型，详见项目中的 IXI/TransMorph_on_IXI.md。
3. 自行预处理：若使用自有数据，建议使用 FreeSurfer 进行脑提取和子皮层分割（参考 PreprocessingMRI.md）。

确保您的数据目录结构如下（以 IXI 为例）：

data/
├── fixed_images/   # 固定图像
└── moving_images/  # 移动图像

3. 基本使用

TransMorph 提供了四种主要变体，最常用的是标准版 TransMorph。以下展示如何加载预训练模型进行推理。

3.1 目录结构确认

确保脚本位于 TransMorph/ 目录下，模型文件位于 TransMorph/model/。

3.2 运行推理示例

假设您已经有了预处理好的 NIfTI 格式图像（.nii.gz），可以使用 infer_transmorph.py (文件名可能因具体变体略有不同，通常为 infer_xxx.py) 进行配准。

以下是一个标准的推理命令示例：

python TransMorph/infer_transmorph.py \
    --img_dir ./data/moving_images \
    --fixed_img ./data/fixed_images/target.nii.gz \
    --model_path ./TransMorph/model/transmorph_pretrained.pth \
    --save_dir ./results

参数说明：

• --img_dir: 包含待配准移动图像的文件夹路径。
• --fixed_img: 目标固定图像的路径。
• --model_path: 预训练模型权重文件路径 (.pth)。
• --save_dir: 配准结果（变形场和 warped 图像）的保存路径。

3.3 训练自己的模型

如果您需要使用自定义数据集进行训练，可以使用 train_transmorph.py。以下是最小化训练命令示例：

python TransMorph/train_transmorph.py \
    --img_dir ./data/training_set \
    --model_dir ./saved_models \
    --batch_size 2 \
    --epochs 100 \
    --loss_func MSE \
    --reg_type diffusion

关键配置：

• 损失函数 (--loss_func): 支持 MSE, NCC, SSIM, MI, LMI, MIND-SSC。
• 形变正则化 (--reg_type): 支持 diffusion, L1, anisotropic_diffusion, bending_energy。
• 变体选择: 若要使用 TransMorph-diff 或 TransMorph-Bayes，请调用对应的训练脚本（如 train_transmorph_diff.py）或修改模型配置文件。

3.4 使用 Docker (可选)

对于希望避免环境配置问题的用户，项目提供了针对脑 MRI 配准的 Docker 镜像。

# 构建镜像
docker build -t transmorph .

# 运行容器 (需映射数据目录)
docker run --gpus all -v /path/to/your/data:/data transmorph python infer_transmorph.py ...

详细 Docker 使用说明请参阅项目根目录下的 Docker/ 文件夹。