免责声明：该模型目前未在纽约大学朗格尼健康中心用于临床实践。由于它是2019年开发的，其准确率远低于我们此后训练出的最先进模型。如果您有意讨论我们近期的任何模型，请发送邮件至 Krzysztof J. Geras。

深度神经网络提升放射科医生乳腺癌筛查表现

引言

这是我们在论文《深度神经网络提升放射科医生乳腺癌筛查表现》（IEEE Transactions on Medical Imaging, 2019）中描述的乳腺癌分类模型的实现。该实现允许用户通过应用我们预训练的两种模型来获取乳腺癌预测结果：一种仅以图像为输入的模型（“仅图像”模型），另一种同时接受图像和热图作为输入的模型（“图像与热图”模型）。

• 输入图像：2张CC位乳腺X线摄影图像，尺寸为2677×1942；2张MLO位乳腺X线摄影图像，尺寸为2974×1748。每张图像保存为16位PNG文件，并在输入模型前分别进行标准化处理。
• 输入热图：由补丁分类器生成，其大小与对应的乳腺X线片相同。每张乳腺X线片会生成两张热图，分别对应良性与恶性类别。两张热图中每个像素的值均介于0到1之间。
• 输出：每侧乳房的两项预测结果，即良性与恶性的概率：left_benign、right_benign、left_malignant 和 right_malignant。

两种模型均针对包含四个标准视图（左CC、右CC、左MLO、右MLO）的筛查性乳腺X线检查进行处理。作为本仓库的一部分，我们提供了4个示例检查（位于 sample_data/images 目录中，检查列表存储在 sample_data/exam_list_before_cropping.pkl 文件中）。热图生成模型和癌症分类模型均采用PyTorch实现。

更新（2019年10月26日）：我们的论文（IEEE Transactions on Medical Imaging, 2019）即将发表！

更新（2019年8月26日）：我们新增了基于TensorFlow的 逐图像 模型实现（参见 using_tensorflow.md）。

更新（2019年6月21日）：我们加入了论文中描述的 逐图像 模型，该模型基于单张乳腺X线片生成预测结果。虽然该模型的性能略逊于上述 逐视图 模型，但它可以应用于单张乳腺X线片，而无需完整的检查数据。

更新（2019年5月15日）：修复了一个小错误，该错误会导致输出DataFrame中的列（left_malignant 和 right_benign）顺序颠倒。请注意，此问题并不影响模型的正常运行。

系统要求

• Python (3.6)
• PyTorch (0.4.1)
• torchvision (0.2.0)
• NumPy (1.14.3)
• SciPy (1.0.0)
• H5py (2.7.1)
• imageio (2.4.1)
• pandas (0.22.0)
• tqdm (4.19.8)
• opencv-python (3.4.2)

许可证

本仓库遵循GNU AGPLv3许可证条款。

如何运行代码

检查级别

以下介绍如何使用我们性能最佳的 逐视图 模型获取预测结果。该模型以每个视图的4张图像作为输入，输出每份检查的预测结果。

bash run.sh

将自动运行整个流程，并将预测结果保存为CSV文件。

建议使用GPU运行代码（默认设置）。若仅使用CPU运行，请将 run.sh 中的 DEVICE_TYPE 改为 'cpu'。

如果单独运行Python脚本，请确保将本仓库路径添加到您的 PYTHONPATH 中。

对于仓库中提供的示例检查，您应得到如下输出：

使用 仅图像 模型的预测结果（默认保存于 sample_output/image_predictions.csv）：

index	left_benign	right_benign	left_malignant	right_malignant
0	0.0580	0.0754	0.0091	0.0179
1	0.0646	0.9536	0.0012	0.7258
2	0.4388	0.3526	0.2325	0.1061
3	0.3765	0.6483	0.0909	0.2579

使用 图像与热图 模型的预测结果（默认保存于 sample_output/imageheatmap_predictions.csv）：

index	left_benign	right_benign	left_malignant	right_malignant
0	0.0612	0.0555	0.0099	0.0063
1	0.0507	0.8025	0.0009	0.9000
2	0.2877	0.2286	0.2524	0.0461
3	0.4181	0.3172	0.3174	0.0485

单张图像

在此我们还提供了 逐图像 模型，它与上述 逐视图 模型不同，且性能稍逊。本节中 逐视图 模型的CSV输出将不同于 逐图像 模型。由于该模型具有对每张图像单独生成预测结果的优势，我们将其公开，以方便迁移学习的应用。

要使用 逐图像 模型，请运行类似以下的命令：

bash run_single.sh "sample_data/images/0_L_CC.png" "L-CC"

其中第一个参数是乳腺X线片的路径，第二个参数是该图像对应的视图。

根据上述示例命令，您应获得如下输出：

阶段1：裁剪乳腺X线片
阶段2：提取中心区域
阶段3：生成热图
阶段4a：运行分类器（仅图像）
{"benign": 0.040191903710365295, "malignant": 0.008045293390750885}
阶段4b：运行分类器（图像+热图）
{"benign": 0.052365876734256744, "malignant": 0.005510155577212572}

图像级别笔记本

我们附带了一个示例笔记本，其中包含了运行带热图和不带热图的分类器的代码（不包括预处理步骤）。

数据

要使用其中一个预训练模型，输入必须包含至少四张图像，每种视图（左乳CC位、左乳MLO位、右乳CC位、右乳MLO位）各一张。

原始的12位乳腺X线片以重新缩放后的16位图像形式保存，以便保留像素强度的精细度，同时仍能在图像查看器中正确显示。

sample_data/exam_list_before_cropping.pkl 包含预处理前的检查信息列表。每个检查以字典形式表示，格式如下：

{
  'horizontal_flip': 'NO',
  'L-CC': ['0_L_CC'],
  'R-CC': ['0_R_CC'],
  'L-MLO': ['0_L_MLO'],
  'R-MLO': ['0_R_MLO'],
}

我们期望来自 L-CC 和 L-MLO 视图的图像朝向右侧，而来自 R-CC 和 R-MLO 视图的图像则朝向左侧。horizontal_flip 表示该次检查中的所有图像是否相对于预期方向进行了水平翻转。L-CC、R-CC、L-MLO 和 R-MLO 的值是不含扩展名和目录名的图像文件名列表。

每张图像的附加信息会以字典形式包含在内。该字典以四种视图为键，对应的值则是相应视图的附加信息。例如，window_location 用于指示裁剪窗口的上、下、左、右边界，它是一个包含四个键的字典，每个键对应一个列表，其中包含了相应图像的裁剪窗口信息。此外，在预处理之后，还添加了 rightmost_pixels、bottommost_pixels、distance_from_starting_side 和 best_center 等信息。 这些属性的说明可在预处理部分找到。 以下是裁剪并提取最佳中心点后的检查信息示例：

{
  'horizontal_flip': 'NO',
  'L-CC': ['0_L_CC'],
  'R-CC': ['0_R_CC'],
  'L-MLO': ['0_L_MLO'],
  'R-MLO': ['0_R_MLO'],
  'window_location': {
    'L-CC': [(353, 4009, 0, 2440)],
    'R-CC': [(71, 3771, 952, 3328)],
    'L-MLO': [(0, 3818, 0, 2607)],
    'R-MLO': [(0, 3724, 848, 3328)]
   },
  'rightmost_points': {
    'L-CC': [((1879, 1958), 2389)],
    'R-CC': [((2207, 2287), 2326)],
    'L-MLO': [((2493, 2548), 2556)],
    'R-MLO': [((2492, 2523), 2430)]
   },
  'bottommost_points': {
    'L-CC': [(3605, (100, 100))],
    'R-CC': [(3649, (101, 106))],
    'L-MLO': [(3767, (1456, 1524))],
    'R-MLO': [(3673, (1164, 1184))]
   },
  'distance_from_starting_side': {
    'L-CC': [0],
    'R-CC': [0],
    'L-MLO': [0],
    'R-MLO': [0]
   },
  'best_center': {
    'L-CC': [(1850, 1417)],
    'R-CC': [(2173, 1354)],
    'L-MLO': [(2279, 1681)],
    'R-MLO': [(2185, 1555)]
   }
}

所包含检查的标签如下：

index	左乳良性	右乳良性	左乳恶性	右乳恶性
0	0	0	0	0
1	0	0	0	1
2	1	0	0	0
3	1	1	1	1

流程

该流程由四个阶段组成。

1. 裁剪乳腺X线片
2. 计算最佳中心点
3. 生成热力图
4. 运行分类器

以下在 run.sh 中定义的变量可根据需要进行修改：

• NUM_PROCESSES: 预处理过程中使用的进程数（src/cropping/crop_mammogram.py 和 src/optimal_centers/get_optimal_centers.py）。默认值：10。

• DEVICE_TYPE: 用于生成热力图和运行分类器的设备类型，可为 ‘cpu’ 或 ‘gpu’。默认值：‘gpu’。

• NUM_EPOCHS: 分类器输出结果中取平均的轮次数。默认值：10。

• HEATMAP_BATCH_SIZE: 生成热力图时使用的批次大小。默认值：100。

• GPU_NUMBER: 当有多块GPU可用时，指定使用哪一块GPU。默认值：0。

• DATA_FOLDER: 存放乳腺X线片的目录。

• INITIAL_EXAM_LIST_PATH: 存放不含任何元数据的初始检查列表的路径。

• PATCH_MODEL_PATH: 保存补丁分类器权重的路径。

• IMAGE_MODEL_PATH: 保存仅基于图像的模型权重的路径。

• IMAGEHEATMAPS_MODEL_PATH: 保存结合图像与热力图的模型权重的路径。

• CROPPED_IMAGE_PATH: 保存裁剪后乳腺X线片的目录。

• CROPPED_EXAM_LIST_PATH: 保存包含裁剪元数据的新检查列表的路径。

• EXAM_LIST_PATH: 保存包含最佳中心点元数据的新检查列表的路径。

• HEATMAPS_PATH: 保存热力图的目录。

• IMAGE_PREDICTIONS_PATH: 保存仅基于图像的模型预测结果的路径。

• IMAGEHEATMAPS_PREDICTIONS_PATH: 保存结合图像与热力图的模型预测结果的路径。

预处理

运行以下命令以裁剪乳腺X光片并计算增强窗口的相关信息。

裁剪乳腺X光片

python3 src/cropping/crop_mammogram.py \
    --input-data-folder $DATA_FOLDER \
    --output-data-folder $CROPPED_IMAGE_PATH \
    --exam-list-path $INITIAL_EXAM_LIST_PATH  \
    --cropped-exam-list-path $CROPPED_EXAM_LIST_PATH  \
    --num-processes $NUM_PROCESSES

src/import_data/crop_mammogram.py 会围绕乳房区域裁剪乳腺X光片，并去除背景，以提高图像加载速度和分割算法的运行效率。裁剪后的每张图像将使用 h5py 保存到 $PATH_TO_SAVE_CROPPED_IMAGES/short_file_path.png。此外，该脚本还会为每张图像添加额外信息，并创建一个新的图像列表保存到 $CROPPED_IMAGE_LIST_PATH，同时丢弃无法成功裁剪的图像。可选的 --verbose 参数会打印每张图像的相关信息。附加信息包括：

• window_location: 裁剪窗口相对于原始 DICOM 图像的位置，以便在训练时能够以相同的方式裁剪分割图。
• rightmost_points: 正确翻转后最右侧的非零像素位置。
• bottommost_points: 正确翻转后最下方的非零像素位置。
• distance_from_starting_side: 记录在乳房开始出现的一侧是否出现了零值间隙，而实际上此处不应存在间隙。根据数据集的不同，此值可用于判断 horizontal_flip 的取值是否正确。

计算最佳中心点

python3 src/optimal_centers/get_optimal_centers.py \
    --cropped-exam-list-path $CROPPED_EXAM_LIST_PATH \
    --data-prefix $CROPPED_IMAGE_PATH \
    --output-exam-list-path $EXAM_LIST_PATH \
    --num-processes $NUM_PROCESSES

src/optimal_centers/get_optimal_centers.py 会输出包含额外元数据的新检查列表到 $EXAM_LIST_PATH。附加信息包括：

• best_center: 每张图像的最佳窗口中心点。以 best_center 作为精确中心绘制的增强窗口可能会超出图像边界。这种情况通常发生在裁剪后的图像尺寸小于窗口尺寸时。在这种情况下，我们会在增强过程中对图像进行填充，并将窗口移至填充后的图像内部。更多细节请参阅 数据报告。

热力图生成

python3 src/heatmaps/run_producer.py \
    --model-path $PATCH_MODEL_PATH \
    --data-path $EXAM_LIST_PATH \
    --image-path $CROPPED_IMAGE_PATH \
    --batch-size $HEATMAP_BATCH_SIZE \
    --output-heatmap-path $HEATMAPS_PATH \
    --device-type $DEVICE_TYPE \
    --gpu-number $GPU_NUMBER

src/heatmaps/run_producer.py 通过组合图像补丁的预测结果生成热力图，并使用 $DEVICE_TYPE 设备以 HDF5 格式保存到 $HEATMAPS_PATH。$DEVICE_TYPE 可以是 'gpu' 或 'cpu'。$HEATMAP_BATCH_SIZE 应根据可用内存大小进行调整。可选参数 --gpu-number 可用于指定使用的 GPU 编号。

运行模型

src/modeling/run_model.py 可以使用裁剪后的图像，无论是否结合热力图，来提供预测结果。当使用热力图时，请使用 --use-heatmaps 标志，并提供相应的 --model-path 和 --heatmaps-path 参数。根据可用内存情况，还可以提供可选参数 --batch-size。另一个可选参数 --gpu-number 可用于指定使用的 GPU 编号。

仅使用图像的模型运行

python3 src/modeling/run_model.py \
    --model-path $IMAGE_MODEL_PATH \
    --data-path $EXAM_LIST_PATH \
    --image-path $CROPPED_IMAGE_PATH \
    --output-path $IMAGE_PREDICTIONS_PATH \
    --use-augmentation \
    --num-epochs $NUM_EPOCHS \
    --device-type $DEVICE_TYPE \
    --gpu-number $GPU_NUMBER

此命令仅使用图像进行预测，执行 $NUM_EPOCHS 个周期的随机增强操作，并将每份检查的平均预测结果输出到 $IMAGE_PREDICTIONS_PATH。

使用图像和热力图的模型运行

python3 src/modeling/run_model.py \
    --model-path $IMAGEHEATMAPS_MODEL_PATH \
    --data-path $EXAM_LIST_PATH \
    --image-path $CROPPED_IMAGE_PATH \
    --output-path $IMAGEHEATMAPS_PREDICTIONS_PATH \
    --use-heatmaps \
    --heatmaps-path $HEATMAPS_PATH \
    --use-augmentation \
    --num-epochs $NUM_EPOCHS \
    --device-type $DEVICE_TYPE \
    --gpu-number $GPU_NUMBER

此命令使用图像和热力图进行预测，执行 $NUM_EPOCHS 个周期的随机增强操作，并将每份检查的平均预测结果输出到 $IMAGEHEATMAPS_PREDICTIONS_PATH。

从 DICOM 文件中提取图像并保存为 16 位 PNG 文件

可以使用以下函数将 DICOM 文件转换为 PNG 文件，随后这些文件即可被本仓库中的代码所使用（需安装 pypng 0.0.19 和 pydicom 1.2.2 库）。

import png
import pydicom

def save_dicom_image_as_png(dicom_filename, png_filename, bitdepth=12):
    """
    将 12 位乳腺 X 光片从 DICOM 文件中保存为重新缩放后的 16 位 PNG 文件。
    :param dicom_filename: 输入 DICOM 文件的路径。
    :param png_filename: 输出 PNG 文件的路径。
    :param bitdepth: 输入图像的位深度。对于 12 位乳腺 X 光片，设置为 12。
    """
    image = pydicom.read_file(dicom_filename).pixel_array
    with open(png_filename, 'wb') as f:
        writer = png.Writer(height=image.shape[0], width=image.shape[1], bitdepth=bitdepth, greyscale=True)
        writer.write(f, image.tolist())

参考文献

如果您觉得这段代码有用，请引用我们的论文：

深度神经网络提升放射科医师乳腺癌筛查性能
吴楠、杰森·庞、朴正奎、沈一秋、黄哲、玛莎·佐林、斯坦尼斯瓦夫·雅斯特任布斯基、蒂博·费夫里、乔·卡茨内尔森、埃里克·金、斯泰西·沃尔夫森、乌贾斯·帕里克、苏什玛·加达姆、玲玲·杨琳、卡拉·霍、乔舒亚·D·韦因斯坦、贝阿特丽乌·雷伊格、仰明高、希尔德加德·托斯、克里斯汀·皮萨连科、阿拉娜·刘温、李智媛、克里斯塔尔·艾罗拉、埃拉尔达·梅马、斯蒂芬妮·钟、埃丝特·黄、纳齐娅·萨姆林、S. 金、劳拉·希科克、琳达·莫伊、曹庆贤、克日什托夫·J·格拉斯
IEEE 医学成像汇刊
2019年

@article{wu2019breastcancer, 
    title = {Deep Neural Networks Improve Radiologists' Performance in Breast Cancer Screening},
    author = {Nan Wu and Jason Phang and Jungkyu Park and Yiqiu Shen and Zhe Huang and Masha Zorin and Stanis\l{}aw Jastrz\k{e}bski and Thibault F\'{e}vry and Joe Katsnelson and Eric Kim and Stacey Wolfson and Ujas Parikh and Sushma Gaddam and Leng Leng Young Lin and Kara Ho and Joshua D. Weinstein and Beatriu Reig and Yiming Gao and Hildegard Toth and Kristine Pysarenko and Alana Lewin and Jiyon Lee and Krystal Airola and Eralda Mema and Stephanie Chung and Esther Hwang and Naziya Samreen and S. Gene Kim and Laura Heacock and Linda Moy and Kyunghyun Cho and Krzysztof J. Geras}, 
    journal = {IEEE Transactions on Medical Imaging},
    year = {2019}
}

breast_cancer_classifier 快速上手指南

重要免责声明：本模型仅供研究参考，不可用于临床诊断。该模型发布于 2019 年，其准确率已低于后续训练的更先进模型。如需讨论最新模型，请联系作者 Krzysztof J. Geras。

本项目实现了基于深度神经网络的乳腺癌筛查分类模型，支持两种输入模式：

1. 仅图像 (image-only)：输入乳腺 X 光摄影图像。
2. 图像 + 热力图 (image-and-heatmaps)：输入图像及对应的良性/恶性热力图。

1. 环境准备

系统要求

• 操作系统: Linux / macOS (Windows 需自行配置兼容环境)
• Python 版本: 3.6
• 硬件建议: 推荐使用 NVIDIA GPU 以加速推理（默认配置），也可使用 CPU。

前置依赖

请确保安装以下特定版本的 Python 库：

• PyTorch 0.4.1
• torchvision 0.2.0
• NumPy 1.14.3
• SciPy 1.0.0
• h5py 2.7.1
• imageio 2.4.1
• pandas 0.22.0
• tqdm 4.19.8
• opencv-python 3.4.2

国内加速提示：建议使用清华或阿里镜像源安装依赖，以提升下载速度。

2. 安装步骤

第一步：克隆项目

git clone <repository_url>
cd breast_cancer_classifier

第二步：创建虚拟环境并安装依赖

推荐使用 conda 或 venv 隔离环境。以下是使用 pip 配合国内镜像源的安装命令：

python3 -m venv venv
source venv/bin/activate  # Windows 用户请使用: venv\Scripts\activate

# 使用清华镜像源安装指定版本的依赖
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple \
    torch==0.4.1 \
    torchvision==0.2.0 \
    numpy==1.14.3 \
    scipy==1.0.0 \
    h5py==2.7.1 \
    imageio==2.4.1 \
    pandas==0.22.0 \
    tqdm==4.19.8 \
    opencv-python==3.4.2

第三步：配置环境变量

如果单独运行 Python 脚本，需将项目根目录添加到 PYTHONPATH：

export PYTHONPATH=$(pwd):$PYTHONPATH

3. 基本使用

本项目提供两种主要的使用场景：完整检查级别预测（推荐，性能最佳）和 单张图像预测。

场景一：完整检查级别预测 (Exam-level)

此模式使用表现最佳的 view-wise 模型，需要输入包含四个标准视角（L-CC, R-CC, L-MLO, R-MLO）的完整检查数据。

1. 准备数据： 确保你的数据目录结构符合 sample_data 中的格式，并准备好包含检查信息的 .pkl 文件。

2. 运行预测： 执行主脚本自动完成预处理、热力图生成及分类预测全流程。

   bash run.sh
   

   注：默认使用 GPU。若仅使用 CPU，请编辑 run.sh 将 DEVICE_TYPE 改为 'cpu'。

3. 查看结果： 预测结果将保存为 CSV 文件：

   • 仅图像模型结果：sample_output/image_predictions.csv
   • 图像 + 热力图模型结果：sample_output/imageheatmap_predictions.csv

   输出包含每侧乳房的良性与恶性概率：left_benign, right_benign, left_malignant, right_malignant。

场景二：单张图像预测 (Single Image)

此模式使用 image-wise 模型，适用于单张乳腺 X 光片的快速测试或迁移学习，但性能略低于完整检查模型。

运行以下命令（以示例数据为例）：

bash run_single.sh "sample_data/images/0_L_CC.png" "L-CC"

• 第一个参数：图像文件路径。
• 第二个参数：对应的视角标识（如 "L-CC", "R-MLO" 等）。

预期输出示例：

Stage 1: Crop Mammograms
Stage 2: Extract Centers
Stage 3: Generate Heatmaps
Stage 4a: Run Classifier (Image)
{"benign": 0.040191903710365295, "malignant": 0.008045293390750885}
Stage 4b: Run Classifier (Image+Heatmaps)
{"benign": 0.052365876734256744, "malignant": 0.005510155577212572}

进阶配置 (可选)

如需调整并行进程数、批次大小或模型路径，可编辑 run.sh 中的以下变量：

• NUM_PROCESSES: 预处理并行进程数 (默认 10)
• HEATMAP_BATCH_SIZE: 热力图生成批次大小 (默认 100)
• DATA_FOLDER: 原始影像存储目录
• IMAGE_MODEL_PATH / IMAGEHEATMAPS_MODEL_PATH: 预训练权重路径