引言

自2015年以来，UNet 在医学图像分割领域取得了重大突破，开启了深度学习的新时代。此后，众多研究者在UNet的基础上进行了大量改进，以提升语义分割的性能。

在本项目中，我们整理了近年来与UNet相关的语义分割模型（UNet家族）。

我的实现主要基于 PyTorch，其他实现则来源于原论文作者或优秀的开源仓库。需要说明的是，该项目目前仍处于 建设中。如果您有任何建议或问题，请提交Issue或通过邮件与我联系。

此外，为什么UNet神经网络在医学图像分割任务中表现优异呢？ 您可以在知乎上查看我的回答：我的回答。

UNet家族

2015年

• U-Net: 用于生物医学图像分割的卷积网络（MICCAI）[论文] [我的PyTorch实现][Keras实现]

2016年

• V-Net: 用于体数据医学图像分割的全卷积神经网络[论文] [Caffe实现][PyTorch实现]
• 3D U-Net: 从稀疏标注中学习密集体数据分割[论文][PyTorch实现]

2017年

• H-DenseUNet: 用于CT影像肝脏及肿瘤分割的混合密集连接UNet（IEEE医学影像汇刊）[论文][Keras实现]
• GP-Unet: 基于3D回归网络的弱标签病变检测（MICCAI）[论文]

2018年

• UNet++: 用于医学图像分割的嵌套式U-Net架构（MICCAI）[论文][我的PyTorch实现][Keras实现]
• MDU-Net: 多尺度密集连接U-Net用于生物医学图像分割[论文]
• DUNet: 用于视网膜血管分割的可形变网络[论文]
• RA-UNet: 一种混合深度注意力感知网络，用于从CT扫描中提取肝脏和肿瘤[论文]
• 用于多模态图像缺血性脑卒中病灶分割的密集多路径U-Net[论文]
• 基于双Transformer的堆叠密集U-Net用于鲁棒的人脸对齐[论文]
• 使用2D桥接U-Net进行前列腺分割[论文]
• nnU-Net: 基于U-Net的自适应医学图像分割框架[论文][PyTorch实现]
• SUNet: 一种用于急性脑卒中病灶分割及多模态MRI预后预测的深度学习架构[论文]
• IVD-Net: 基于多模态U-Net的MRI椎间盘定位与分割[论文]
• LADDERNET: 基于U-Net的多路径网络用于医学图像分割[论文][PyTorch实现]
• 用于胶质瘤分割的级联U-Net[论文]
• 注意力U-Net: 学习胰腺所在位置[论文]
• 基于U-Net的循环残差卷积神经网络（R2U-Net）用于医学图像分割[论文]
• 全卷积网络中的空间与通道“挤压与激励”并行机制[论文]
• 用于模糊图像分割的概率U-Net（NIPS）[论文][TensorFlow实现]
• AnatomyNet: 用于快速、全自动头部和颈部解剖结构整体分割的深度学习[论文]
• 3D RoI感知U-Net用于准确高效的结直肠癌分割[论文][PyTorch实现]
• 基于弱监督机器学习的DWI急性脑梗死检测与勾画（Y-Net）（MICCAI）[论文]（第82页）
• 用于2D稀疏光声断层扫描伪影去除的全密集U-Net[论文]

2019年

• MultiResUNet：重新思考用于多模态生物医学图像分割的U-Net架构 [论文][Keras实现]
• U-NetPlus：一种改进的编码器-解码器U-Net架构，用于手术器械的语义和实例分割 [论文]
• 基于概率图引导的双向循环U-Net用于胰腺分割 [论文]
• CE-Net：用于2D医学图像分割的上下文编码网络 [论文][PyTorch实现]
• Graph U-Net [论文]
• 一种新颖的焦点Tversky损失函数结合改进的注意力U-Net用于病灶分割（ISBI） [论文]
• ST-UNet：一种时空U型网络，用于图结构时间序列建模 [论文]
• 连接敏感注意力U-Net用于精确视网膜血管分割 [论文]
• CIA-Net：基于轮廓感知信息聚合的鲁棒细胞核实例分割 [论文]
• W-Net：用于密度图估计的增强型U-Net [论文]
• 基于协同引导的深度神经网络自动分割肺叶（ISBI口头报告） [论文]
• U2-Net：一种带有认知不确定性反馈的贝叶斯U-Net模型，用于病理OCT扫描中光感受器层的分割 [论文]
• ScleraSegNet：一种改进的带注意力机制的U-Net模型，用于精确巩膜分割（ICB荣誉提名奖论文） [论文]
• AHCNet：将注意力机制与混合连接应用于CT影像中的肝肿瘤分割 [论文]
• 一种用于建模多尺度模糊性的分层概率U-Net [论文]
• 面向资源受限场景的循环U-Net分割 [论文]
• MFP-Unet：一种基于深度学习的新方法，用于超声心动图中左心室的分割 [论文]
• 一种部分可逆U-Net用于内存高效的体数据分割（MICCAI 2019） [论文][PyTorch实现]
• ResUNet-a：一种用于遥感数据语义分割的深度学习框架 [论文]
• 一种用于懒标签分割的多任务U-Net [论文]
• RAUNet：残差注意力U-Net用于白内障手术器械的语义分割 [论文]
• 3D U2-Net：一种用于多领域医学图像分割的通用3D U-Net（MICCAI 2019） [论文][PyTorch实现]
• SegNAS3D：基于无导数全局优化的网络架构搜索，用于3D图像分割（MICCAI 2019） [论文]
• 用于MRI实时脑肿瘤分割的3D扩张多纤维网络 [论文][PyTorch实现]（MICCAI 2019）
• 医学图像分割中的领域偏移问题及基于Unet-GAN的厂商自适应 [论文]
• 面向资源受限场景的循环U-Net分割 [论文]（ICCV 2019）
• 带健康模板的暹罗U-Net用于颅内出血的精确分割（MICCAI 2019）

2020年

• U^2-Net：通过嵌套U型结构进一步加深网络以进行显著性目标检测（模式识别2020） [论文][PyTorch实现]
• UNET 3+：一种全尺度连接的U-Net，用于医学图像分割（ICASSP 2020） [论文][PyTorch实现]

参考

• https://github.com/ozan-oktay/Attention-Gated-Networks（我们的模型风格主要参考该仓库。）

UNet-family 快速上手指南

UNet-family 是一个汇集了自 2015 年以来基于 U-Net 架构改进的医学图像语义分割模型集合。本项目主要基于 PyTorch 实现，同时也收录了部分原作者或其他优秀仓库的实现（如 Keras, Caffe 等），涵盖了从经典的 U-Net 到最新的 UNet 3+、U^2-Net 等多种变体。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐), macOS, 或 Windows
• Python: 3.6 或更高版本
• 深度学习框架: PyTorch 1.4+ (本项目主要实现语言)
• 硬件: 推荐使用 NVIDIA GPU 以加速训练和推理（可选，但强烈推荐）

前置依赖安装

建议使用 pip 安装必要的依赖库。为了获得更快的下载速度，国内用户推荐使用清华或阿里镜像源。

# 基础依赖
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install numpy scipy matplotlib opencv-python tqdm

# 其他可能需要的库（根据具体模型需求）
pip install tensorboardX scikit-image medpy

安装步骤

由于该项目是一个模型代码合集而非单一的 Python 包，安装方式主要为克隆仓库并配置路径。

1. 克隆项目仓库

   git clone https://github.com/ShawnBIT/UNet-family.git
   cd UNet-family
   

2. 验证模型文件

   进入 networks 目录，您可以看到各种变体的实现文件，例如 UNet.py, UNet_Nested.py (UNet++) 等。

   ls networks/
   

基本使用

以下以最经典的 U-Net 和 UNet++ 为例，展示如何在代码中导入并实例化模型。

1. 导入模型

假设您的项目结构与 UNet-family 在同一层级，或者您已将 networks 文件夹复制到您的项目中。

import torch
from networks.UNet import UNet          # 经典 U-Net
from networks.UNet_Nested import UNet_Nested  # UNet++

2. 实例化模型

根据您的任务需求（如二分类或多分类）设置输入通道数 (in_channels) 和输出类别数 (num_classes)。

# 配置参数
img_size = 224
in_channels = 1   # 灰度图通常为 1，RGB 图为 3
num_classes = 2   # 背景 + 前景，或多类别数量

# 实例化经典 U-Net
model_unet = UNet(in_channels=in_channels, n_classes=num_classes)

# 实例化 UNet++ (深度可配置，默认 deep_supervision=False)
model_unet_plus = UNet_Nested(in_channels=in_channels, n_classes=num_classes, deep_supervision=False)

# 将模型移至 GPU (如果可用)
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model_unet.to(device)
model_unet_plus.to(device)

print(f"Models loaded on {device}")

3. 前向推理示例

创建一个模拟的输入张量进行前向传播测试。

# 创建模拟输入数据 (Batch_Size, Channels, Height, Width)
dummy_input = torch.randn(1, in_channels, img_size, img_size).to(device)

# 执行推理
with torch.no_grad():
    output_unet = model_unet(dummy_input)
    output_unet_plus = model_unet_plus(dummy_input)

print(f"Input shape: {dummy_input.shape}")
print(f"U-Net Output shape: {output_unet.shape}")
print(f"UNet++ Output shape: {output_unet_plus.shape}")

提示: 对于 3D 医学图像分割模型（如 V-Net, 3D U-Net），输入张量的维度应为 (B, C, D, H, W)，请使用对应的 networks 下的 3D 模型文件。具体的训练循环和数据加载逻辑需参考 PyTorch 标准流程或项目后续更新的示例脚本。