基于卷积神经网络（U-Net）的视网膜血管分割

本仓库包含用于分割视网膜眼底图像中血管的卷积神经网络实现。这是一个二分类任务：神经网络预测眼底图像中的每个像素是否为血管。
该神经网络结构基于U-Net架构，相关描述见这篇论文。
该神经网络在DRIVE数据库上的性能测试表明，其ROC曲线下面积指标优于目前已发表的其他方法。此外，在STARE数据集上，该方法也表现出优异的性能。

方法

在训练之前，对DRIVE训练数据集中的20张图像进行以下预处理：

• 灰度化
• 标准化
• 对比度受限自适应直方图均衡化（CLAHE）
• Gamma校正

神经网络的训练是在预处理后完整图像的子图像（补丁）上进行的。每个补丁的尺寸为48×48像素，其中心点随机选取于整张图像内。同时，也会选择部分或完全位于视野外（FOV）的补丁，以便让网络学会如何区分视野边界与血管。
通过从DRIVE训练集的20张图像中每张随机抽取9,500个补丁，共得到190,000个补丁。尽管这些补丁存在重叠——即不同补丁可能包含原始图像的同一区域——但并未进行额外的数据增强。数据集中前90%用于训练（171,000个补丁），后10%用于验证（19,000个补丁）。

神经网络架构源自U-Net架构（参见论文）。损失函数采用交叉熵，优化方法为随机梯度下降。每个卷积层后的激活函数为ReLU，并在连续两个卷积层之间使用0.2的丢弃率（Dropout）。
训练共进行150个epoch，每次使用32个补丁作为小批量。在GeForce GTX TITAN GPU上运行，整个训练过程大约持续20小时。

DRIVE数据库上的结果

测试使用DRIVE测试数据集中的20张图像，并以金标准作为真实标签。仅考虑属于视野（FOV）范围内的像素。视野区域由DRIVE数据库附带的掩码标识。
为了提升性能，每个像素的血管概率是通过对多次预测结果取平均值获得的。在每张测试图像中，按高度和宽度方向每隔5个像素提取一组连续且部分重叠的补丁。随后，对于每个像素，其血管概率即为覆盖该像素的所有预测补丁中概率的平均值。

./test文件夹中报告的结果对应于验证损失最小的已训练模型。该文件夹包含：

• 模型：
  • test_model.png 神经网络结构示意图
  • test_architecture.json 模型的JSON格式描述
  • test_best_weights.h5 验证损失最小的模型权重，存储为HDF5文件
  • test_last_weights.h5 最终第150个epoch时的模型权重，存储为HDF5文件
  • test_configuration.txt 实验参数配置
• 实验结果：
  • performances.txt 测试结果摘要，包括混淆矩阵
  • Precision_recall.png 精确率-召回率曲线及其对应的AUC值
  • ROC.png ROC曲线及其对应的AUC值
  • all_*.png DRIVE测试数据集的20张预处理后的原始图像、真实标签及预测结果
  • sample_input_*.png 预处理后训练图像的40个补丁样本及其对应的真实标签
  • test_Original_GroundTruth_Prediction*.png 从上至下依次为预处理后的原始图像、真实标签和预测结果。在预测图像中，每个像素显示的是预测的血管概率，未应用任何阈值。

下表将本方法与其他近期技术进行了比较，这些方法均已在DRIVE数据集上公布了其ROC曲线下面积（AUC ROC）指标。

方法	AUC ROC on DRIVE
Soares等 [1]	.9614
Azzopardi等. [2]	.9614
Osareh等 [3]	.9650
Roychowdhury等. [4]	.9670
Fraz等. [5]	.9747
Qiaoliang等. [6]	.9738
Melinscak等. [7]	.9749
Liskowski等.^ [8]	.9790
本方法	.9790

^ 不同的视野定义

在DRIVE数据集上运行实验

代码使用Python编写，可通过以下步骤在DRIVE数据集上复现该实验。

先决条件

神经网络基于Keras库开发，安装可参考Keras官方仓库。

本代码已在Keras 1.1.0版本上测试完成，后端可选择Theano或TensorFlow。为避免维度不匹配问题，需在~/.keras/keras.json配置文件中设置"image_dim_ordering": "th"。若该文件不存在，可自行创建。更多细节请参阅Keras文档。

所需依赖如下：

• numpy >= 1.11.1
• PIL >=1.1.7
• opencv >=2.4.10
• h5py >=2.6.0
• ConfigParser >=3.5.0b2
• scikit-learn >= 0.17.1

此外，您还需要DRIVE数据集，可在下一节中了解其免费下载方式。

训练

首先，你需要 DRIVE 数据库。我们无法在此提供数据，但你可以从官方 网站 下载 DRIVE 数据库。将图像解压到一个文件夹中，并将其命名为“DRIVE”，例如。该文件夹的目录结构应如下所示：

DRIVE
│
└───test
|    ├───1st_manual
|    └───2nd_manual
|    └───images
|    └───mask
│
└───training
    ├───1st_manual
    └───images
    └───mask

有关数据的详细说明，请参阅 DRIVE 官方网站。

为便于训练和测试，建议分别创建用于真值、掩码和图像的 HDF5 数据集。

在根目录下，只需运行以下命令：

python prepare_datasets_DRIVE.py

训练和测试用的 HDF5 数据集将被创建在 ./DRIVE_datasets_training_testing/ 文件夹中。
注意：如果你为 DRIVE 文件夹指定了不同的名称，则需要在 prepare_datasets_DRIVE.py 文件中进行相应修改。

接下来可以配置实验。所有设置均可在 configuration.txt 文件中指定，文件按以下部分组织：
[数据路径]
仅当您修改了 prepare_datasets_DRIVE.py 文件时，才需更改这些路径。
[实验名称]
为实验选择一个名称，系统将创建同名文件夹，用于存储所有结果及训练好的神经网络。
[数据属性]
网络是在原始完整图像的子图像（补丁）上进行训练的，请在此处指定补丁的尺寸。
[训练设置]
您可以在此处指定：

• N_subimgs：从原始完整图像中随机提取的补丁总数。此数值必须是 20 的倍数，因为每个原始训练图像都会提取相同数量的补丁。
• inside_FOV：选择是否仅在 FOV 内部完全选取补丁。如果同时选取包含掩码的补丁，神经网络也能正确学习如何排除 FOV 边缘区域。不过，这样会需要更多的补丁用于训练。
• N_epochs：训练轮数。
• batch_size：小批量大小。
• nohup：训练过程中的标准输出会被重定向并保存到日志文件中。

完成所有参数配置后，即可通过以下命令开始训练神经网络：

python run_training.py

如果有可用的 GPU，程序将自动使用 GPU 进行计算。
以下文件将保存在与实验同名的文件夹中：

• 模型架构（json）
• 模型结构图（png）
• 配置文件副本
• 最后一 epoch 的模型权重（HDF5）
• 验证损失最低的最优 epoch 的模型权重（HDF5）
• 训练补丁及其对应真值的示例图片（png）

评估训练好的模型

训练好的模型将在 DRIVE 测试数据集上进行评估，该数据集包含 20 张图像，与训练集数量相同。

测试参数可在 configuration.txt 文件的 [测试设置] 部分再次调整，具体说明如下：
[测试设置]

• best_last：选择用于测试数据集预测的模型：best 表示训练过程中验证损失最低的模型；last 表示最后一个 epoch 的模型。
• full_images_to_test：用于测试的完整图像数量，最多 20 张。
• N_group_visual：选择保存的图片中每行显示的图像数量。
• average_mode：如果为真，则每个像素的血管概率预测值将通过对覆盖同一像素的多个重叠补丁的预测概率取平均值得到。
• stride_height：仅在 average_mode 为 True 时有效。表示重叠补丁沿高度方向的步长，步长越小，生成的补丁数量越多。
• stride_width：与 stride_height 相同。
• nohup：预测过程中的标准输出会被重定向并保存到日志文件中。

其中，[实验名称] 必须填写您要测试的实验名称，而 [数据路径] 则需填写测试数据集的路径。此时，[训练设置] 部分会被忽略。

运行测试的命令如下：

python run_testing.py

如果有可用的 GPU，程序将自动使用 GPU 进行计算。
以下文件将保存在与实验同名的文件夹中：

• ROC 曲线（png）
• 精确率-召回率曲线（png）
• 所有测试预处理图像的图片（png）
• 所有对应分割真值的图片（png）
• 所有对应分割预测结果的图片（png）
• 一张或多张包含（从上到下）：原始预处理图像、真值、预测结果的图片
• 性能报告

所有结果仅针对属于 FOV 区域的像素，这些像素由 DRIVE 数据库中包含的掩码所选定。

STARE 数据库上的结果

该神经网络也在另一个常用数据集 STARE 上进行了测试。神经网络与使用 DRIVE 数据集的实验中所用的完全相同，但由于两个数据集之间的差异，代码和方法上仍需进行一些修改。
STARE 数据集包含 20 张视网膜眼底图像，由两位不同的观察者提供了两组手动分割标注，其中第一组被视为真实标签。与 DRIVE 数据集不同的是，STARE 没有标准的训练集和测试集划分，因此实验采用了“留一法”进行。训练-测试循环重复了 20 次：每次迭代都会从训练集中排除一张图像，并将其用于测试。
预处理步骤与 DRIVE 数据集相同，从构成训练集的 19 张图像中，每张图像随机提取 9500 个 48×48 像素的补丁。在补丁提取过程中，FOV 外部区域也被纳入考虑。这些补丁中，90%（162450 个）用于训练，10%（18050 个）用于验证。训练参数（如 epoch 数、批大小等）与 DRIVE 实验中的设置一致。
每次测试都针对从训练集中单独留出的一张图像进行。与 DRIVE 数据集类似，每个像素的血管概率是通过对多个重叠补丁取平均得到的，这些补丁在宽度和高度方向上的步长均为 5 像素。仅 FOV 内的像素会被计入。由于 STARE 数据集没有提供掩码，本次通过在原始图像上应用颜色阈值来确定 FOV。

下表展示了在 20 次不同训练中，以指定图像作为测试时所获得的 AUC ROC 结果。

STARE 图像	AUC ROC
im0239.ppm	.9751
im0324.ppm	.9661
im0139.ppm	.9845
im0082.ppm	.9929
im0240.ppm	.9832
im0003.ppm	.9856
im0319.ppm	.9702
im0163.ppm	.9952
im0077.ppm	.9925
im0162.ppm	.9913
im0081.ppm	.9930
im0291.ppm	.9635
im0005.ppm	.9703
im0235.ppm	.9912
im0004.ppm	.9732
im0044.ppm	.9883
im0001.ppm	.9709
im0002.ppm	.9588
im0236.ppm	.9893
im0255.ppm	.9819

平均值：.9805 ± .0113

文件夹 ./STARE_results 包含所有预测结果。每张图像从上到下依次显示 STARE 数据集的预处理后原始图像、真实标签以及对应的预测结果。在预测图像中，每个像素显示的是预测的血管概率，未应用任何阈值。

下表将本方法与其他近期技术在 STARE 数据集上的 AUC ROC 性能进行了比较。

方法	STARE 上的 AUC ROC
Soares 等人 [1]	.9671
Azzopardi 等人 [2]	.9563
Roychowdhury 等人 [4]	.9688
Fraz 等人 [5]	.9768
Qiaoliang 等人 [6]	.9879
Liskowski 等人^ [8]	.9930
本方法	.9805

^ 不同的 FOV 定义

参考文献

[1] Soares 等人，“基于二维 Gabor 小波和监督分类的视网膜血管分割”，《IEEE 医学成像汇刊》，第 25 卷，第 9 期，第 1214–1222 页，2006 年。

[2] Azzopardi 等人，“可训练的 cosfire 滤波器用于血管勾勒及其在视网膜图像中的应用”，《医学图像分析》，第 19 卷，第 1 期，第 46–57 页，2015 年。

[3] Osareh 等人，“视网膜彩色图像中的自动血管分割”，《伊朗科学技术期刊 B：工程》，第 33 卷，第 B2 期，第 191–206 页，2009 年。

[4] Roychowdhury 等人，“通过主要血管提取和子图像分类实现眼底图像的血管分割”，《IEEE 生物医学与健康信息学杂志》，第 19 卷，第 3 期，第 1118–1128 页，2015 年。

[5] Fraz 等人，“应用于视网膜血管分割的集成分类方法”，《IEEE 生物医学工程汇刊》，第 59 卷，第 9 期，第 2538–2548 页，2012 年。

[6] Qiaoliang 等人，“用于视网膜图像血管分割的跨模态学习方法”，《IEEE 医学成像汇刊》，第 35 卷，第 1 期，第 109–118 页，2016 年。

[7] Melinscak 等人，“利用深度神经网络进行视网膜血管分割”，《第 10 届国际计算机视觉理论与应用会议（VISIGRAPP 2015）论文集》（2015 年），第 577–582 页。

[8] Liskowski 等人，“利用深度神经网络分割视网膜血管”，《IEEE 医学成像汇刊》，PP 卷，第 99 期，第 1–1 页，2016 年。

致谢

本研究得到了欧盟玛丽居里初始培训网络（ITN）“视网膜血管建模、测量与诊断”（REVAMMAD）项目的支持，项目编号为 316990。

许可证

本项目采用 MIT 许可证授权。

版权所有 © 2016 Daniele Cortinovis, Orobix Srl (www.orobix.com)。

Retina-UNet 快速上手指南

Retina-UNET 是一个基于 U-Net 架构的卷积神经网络项目，用于视网膜眼底图像中的血管分割。该项目在 DRIVE 数据集上取得了领先的 ROC 曲线下面积（AUC）表现。

环境准备

本项目基于 Python 开发，依赖 Keras 深度学习框架。

系统要求

• 操作系统: Linux / macOS / Windows
• Python 版本: 建议 Python 2.7 或 3.5+ (原文基于较旧版本测试，建议使用兼容环境)
• 硬件加速: 推荐使用 NVIDIA GPU (如 GeForce GTX TITAN) 以加速训练，CPU 亦可运行但速度较慢。

前置依赖

请确保安装以下库及其最低版本要求：

• numpy >= 1.11.1
• PIL (Pillow) >= 1.1.7
• opencv (cv2) >= 2.4.10
• h5py >= 2.6.0
• ConfigParser (Python 3 中为 configparser) >= 3.5.0b2
• scikit-learn >= 0.17.1
• Keras >= 1.1.0 (后端支持 Theano 或 TensorFlow)

重要配置: 为了避免维度不匹配错误，必须设置 Keras 后端图像维度顺序为 "th" (channels_first)。 请在用户主目录下创建或编辑 ~/.keras/keras.json 文件，内容如下：

{
    "image_dim_ordering": "th",
    "epsilon": 1e-07,
    "floatx": "float32",
    "backend": "tensorflow"
}

(注：若使用国内网络，安装 Keras 及后端时可配置 pip 使用清华源或阿里源加速)

安装步骤

1. 克隆代码仓库

   git clone <repository_url>
   cd retina-unet
   

2. 安装 Python 依赖 建议使用虚拟环境，并通过 pip 安装所需包（国内用户可添加 -i https://pypi.tuna.tsinghua.edu.cn/simple）：

   pip install numpy pillow opencv-python h5py scikit-learn keras
   # 注意：ConfigParser 在 Python 3 中内置，无需单独安装；若报错请尝试 pip install configparser
   

3. 准备 DRIVE 数据集 本项目不包含数据，需手动下载 DRIVE 数据库。

   • 访问官网下载：DRIVE Database
   • 解压后整理目录结构如下（假设文件夹命名为 DRIVE）：

     DRIVE
     │
     ├───test
     |    ├───1st_manual
     |    ├───2nd_manual
     |    ├───images
     |    └───mask
     │
     └───training
         ├───1st_manual
         ├───images
         └───mask
     

   • 将 DRIVE 文件夹放置在项目根目录下。

4. 预处理数据 运行脚本将图像转换为 HDF5 格式数据集：

   python prepare_datasets_DRIVE.py
   

   注意：如果 DRIVE 文件夹名称不同，需修改 prepare_datasets_DRIVE.py 中的路径配置。生成的数据将保存在 ./DRIVE_datasets_training_testing/。

基本使用

1. 配置实验参数

编辑根目录下的 configuration.txt 文件。主要关注以下部分：

• [experiment name]: 设置实验名称，结果将保存至同名文件夹。
• [data attributes]: 设置补丁尺寸（默认 48x48）。
• [training settings]:
  • N_subimgs: 提取的补丁总数（必须是 20 的倍数，默认 190000）。
  • N_epochs: 训练轮数（默认 150）。
  • batch_size: 批大小（默认 32）。

2. 训练模型

执行训练脚本。若有可用 GPU，将自动调用。

python run_training.py

训练完成后，实验文件夹中将生成模型架构 (.json)、权重文件 (.h5) 及训练样本可视化图。

3. 评估模型

训练结束后，使用测试集评估模型性能。 再次编辑 configuration.txt，重点修改 [testing settings] 部分：

• best_last: 选择使用验证损失最小的模型 (best) 还是最后一轮的模型 (last)。
• average_mode: 设为 true 以通过重叠补丁平均化预测结果，提升精度。
• stride_height / stride_width: 重叠步长（默认为 5）。

运行测试脚本：

python run_testing.py

4. 查看结果

测试完成后，进入实验名称对应的文件夹，可查看：

• ROC.png: ROC 曲线及 AUC 值。
• Precision_recall.png: 精确率 - 召回率曲线。
• test_Original_GroundTruth_Prediction*.png: 原始图像、金标准标注与模型预测结果的对比图。
• performances.txt: 包含混淆矩阵的性能总结报告。