PatchCamelyon (PCam)

可测量的事物，才能改进。 - 卡尔·皮尔逊

PatchCamelyon 基准是一个全新且极具挑战性的图像分类数据集。它由 327,680 张彩色图像（96×96 像素）组成，这些图像取自淋巴结切片的组织病理学扫描。每张图像都附有一个二元标签，用于指示是否存在转移性组织。PCam 为机器学习模型提供了一个新的基准：规模大于 CIFAR-10，小于 ImageNet，可在单块 GPU 上进行训练。

PCam 中的示例图像。绿色框标示出中心区域的肿瘤组织，该区域决定了图像的阳性标签。

目录

• 为何选择 PCam
• 下载
• 详细信息
• 使用与技巧
• 基准测试
• 可视化
• 贡献
• 联系方式
• 引用 PCam
• 许可证

为何选择 PCam

机器学习领域的基础性进展通常是在一些较为简单的自然图像分类数据集上进行评估的，比如 MNIST、CIFAR 和 SVHN。然而，医学影像正逐渐成为机器学习的主要应用领域之一，我们认为它理应被列入“首选”机器学习数据集之列。这不仅能够推动未来研究的创新，还能引导相关技术朝着对该领域有益的方向发展。

我们相信，PCam 可以在这一过程中发挥重要作用。它将具有临床意义的转移灶检测任务简化为一个直接的二分类图像任务，类似于 CIFAR-10 和 MNIST。模型只需在单块 GPU 上运行数小时即可完成训练，并在 Camelyon16 的肿瘤检测和全切片图像诊断任务中取得具有竞争力的成绩。此外，任务难度与可操作性之间的平衡使其成为主动学习、模型不确定性及可解释性等基础机器学习研究的理想对象。

下载

数据以 gzip 压缩的 HDF5 文件形式存储，可通过以下链接下载。每个数据集包含数据文件和标签文件。此外，还提供了一个元数据 CSV 文件，其中描述了补丁是从 Camelyon16 的哪张切片中提取的，但此信息并未用于基准的训练或评估。如遇下载问题，请通过 GitHub 问题提交反馈。

可从 Google Drive 一次性下载所有文件。

名称	内容	大小	链接	MD5 校验码
camelyonpatch_level_2_split_train_x.h5.gz	训练图像	6.1 GB	下载	1571f514728f59376b705fc836ff4b63
camelyonpatch_level_2_split_train_y.h5.gz	训练标签	21 KB	下载	35c2d7259d906cfc8143347bb8e05be7
camelyonpatch_level_2_split_valid_x.h5.gz	验证图像	0.8 GB	下载	d8c2d60d490dbd479f8199bdfa0cf6ec
camelyonpatch_level_2_split_valid_y.h5.gz	验证标签	3.0 KB	下载	60a7035772fbdb7f34eb86d4420cf66a
camelyonpatch_level_2_split_test_x.h5.gz	测试图像	0.8 GB	下载	d5b63470df7cfa627aeec8b9dc0c066e
camelyonpatch_level_2_split_test_y.h5.gz	测试标签	3.0 KB	下载	2b85f58b927af9964a4c15b8f7e8f179
camelyonpatch_level_2_split_train_meta.csv	训练元数据		下载	5a3dd671e465cfd74b5b822125e65b0a
camelyonpatch_level_2_split_valid_meta.csv	验证元数据		下载	3455fd69135b66734e1008f3af684566
camelyonpatch_level_2_split_test_meta.csv	测试元数据		下载	67589e00a4a37ec317f2d1932c7502ca

Zenodo 镜像：

https://zenodo.org/record/2546921

百度 AI Studio：

https://aistudio.baidu.com/aistudio/datasetdetail/30060

使用与技巧

Keras 示例

Keras 的通用数据加载器

from keras.utils import HDF5Matrix
from keras.preprocessing.image import ImageDataGenerator

x_train = HDF5Matrix('camelyonpatch_level_2_split_train_x.h5', 'x')
y_train = HDF5Matrix('camelyonpatch_level_2_split_train_y.h5', 'y')

datagen = ImageDataGenerator(
              preprocessing_function=lambda x: x/255.,
              width_shift_range=4,  // 随机水平平移图像
              height_shift_range=4,  // 随机垂直平移图像
              horizontal_flip=True,  // 随机翻转图像
              vertical_flip=True)  // 随机翻转图像
              
model.fit_generator(datagen.flow(x_train, y_train, batch_size=batch_size),
                    steps_per_epoch=len(x_train) // batch_size
                    epochs=1024,
                    )

详细信息

数据量

该数据集分为训练集、验证集和测试集三部分：训练集包含 262,144 个样本（2^18），验证集和测试集各包含 32,768 个样本（2^15）。各划分之间不存在全切片图像的重叠，且所有划分中的阳性与阴性样本比例均为 50/50。

标注规则

阳性标签表示补丁中心区域的 32×32 像素内至少包含一个肿瘤细胞像素。补丁外围区域的肿瘤组织不会影响标签判定。提供外围区域是为了便于设计无需零填充的全卷积模型，从而确保其在应用于整张切片图像时行为一致。不过，这并非 PCam 基准的强制要求。

片段选择

PCam 数据集源自 Camelyon16 挑战赛 [2]，该数据集包含 400 张前哨淋巴结切片的 H&E 染色全切片图像（WSI）。这些载玻片由两家不同的中心使用 40 倍物镜采集并数字化，最终像素分辨率为 0.243 微米。我们将其下采样至 10 倍放大率，以扩大视野范围。 我们沿用了 Camelyon16 挑战赛 [2] 的训练/测试划分方式，并进一步从训练 WSI 中抽出 20% 作为验证集。为避免选取背景片段，我们将载玻片转换为 HSV 颜色空间并进行模糊处理，若最大像素饱和度低于 0.07，则过滤掉该片段（经验证此阈值不会误剔除训练集中的肿瘤数据）。 基于片段的数据集通过迭代选择一张 WSI，并以概率 p 选取阳性或阴性片段来采样。随后，利用一个小型卷积神经网络按照随机硬负样本挖掘策略拒绝部分片段，并调整 p 值，以维持接近 50/50 的正负样本比例。

统计信息

即将发布

联系方式

如遇不适合在 GitHub 上提交的问题或疑问，请发送邮件至 Bas Veeling。

引用 PCam

若您在科研出版物中使用了 PCam 数据集，我们非常感谢您引用以下论文：

[1] B. S. Veeling, J. Linmans, J. Winkens, T. Cohen, M. Welling. “用于数字病理学的旋转等变 CNN”。arXiv:1806.03962

同时，也欢迎引用原始的 Camelyon16 数据集论文：

[2] Ehteshami Bejnordi 等人. 深度学习算法在检测乳腺癌女性患者淋巴结转移中的诊断评估. JAMA：美国医学会杂志，318(22), 2199–2210. doi:jama.2017.14585

Biblatex 条目：

@ARTICLE{Veeling2018-qh,
  title         = "Rotation Equivariant {CNNs} for Digital Pathology",
  author        = "Veeling, Bastiaan S and Linmans, Jasper and Winkens, Jim and
                   Cohen, Taco and Welling, Max",
  month         =  jun,
  year          =  2018,
  archivePrefix = "arXiv",
  primaryClass  = "cs.CV",
  eprint        = "1806.03962"
}

基准测试

名称	参考文献	数据增强	准确率	AUC	NLL	FROC*
GDensenet	[1]	按照 Liu 等人的方法	89.8	96.3	0.260	75.8 (64.3, 87.2)
添加您的结果

* 在 Camelyon16 肿瘤检测任务上的表现，并非 PCam 基准测试的一部分。

贡献

欢迎提供其他框架的示例脚本！

许可证

数据依据 Camelyon16 的许可协议，采用 CC0 许可证 提供。 本仓库其余内容则采用 MIT 许可证。

致谢

• Babak Ehteshami Bejnordi、Geert Litjens 和 Jeroen van der Laak 对本数据集配置提供的宝贵建议。
• README 文档参考自 Fashion-MNIST。

PCam 快速上手指南

PatchCamelyon (PCam) 是一个具有挑战性的医学图像分类基准数据集，包含从淋巴结组织病理学扫描中提取的 327,680 张彩色图像（96x96 像素）。该数据集旨在为机器学习模型提供一个介于 CIFAR-10 和 ImageNet 之间的基准，支持在单张 GPU 上进行训练，适用于转移性组织检测任务。

环境准备

• 系统要求：Linux, macOS 或 Windows（推荐 Linux 环境）
• 硬件要求：支持 CUDA 的 GPU（推荐显存 ≥ 4GB），单卡即可训练
• 前置依赖：
  • Python 3.6+
  • TensorFlow / Keras
  • h5py (用于读取 HDF5 格式数据)
  • pandas (可选，用于处理元数据)

安装基础依赖：

pip install tensorflow h5py pandas

安装与数据下载

PCam 数据集以压缩的 HDF5 (.h5.gz) 格式存储。由于文件较大，国内开发者推荐使用 百度 AI Studio 镜像源进行下载，速度更快且更稳定。

方案一：百度 AI Studio 镜像（推荐国内用户）

访问以下链接获取数据集：

• 地址：https://aistudio.baidu.com/aistudio/datasetdetail/30060

方案二：官方 Google Drive 或 Zenodo

如果无法访问上述镜像，可从以下来源下载：

• Zenodo 镜像: https://zenodo.org/record/2546921
• Google Drive: 查看完整列表

所需核心文件（下载后需解压 .gz 文件）：

文件名	内容	大小
camelyonpatch_level_2_split_train_x.h5	训练集图像	~6.1 GB
camelyonpatch_level_2_split_train_y.h5	训练集标签	~21 KB
camelyonpatch_level_2_split_valid_x.h5	验证集图像	~0.8 GB
camelyonpatch_level_2_split_valid_y.h5	验证集标签	~3.0 KB

注意：请确保将 .h5.gz 文件解压为 .h5 文件后再使用。

基本使用

以下是最简单的基于 Keras 的使用示例，展示如何加载数据并进行基础的数据增强训练。

1. 数据加载与预处理

PCam 数据存储在 HDF5 文件中，可以使用 keras.utils.HDF5Matrix 直接读取，无需一次性将所有数据加载到内存中。

from keras.utils import HDF5Matrix
from keras.preprocessing.image import ImageDataGenerator

# 加载训练数据 (确保文件路径正确)
x_train = HDF5Matrix('camelyonpatch_level_2_split_train_x.h5', 'x')
y_train = HDF5Matrix('camelyonpatch_level_2_split_train_y.h5', 'y')

# 配置数据增强生成器
# PCam 图像为 96x96，这里设置了平移和翻转增强
datagen = ImageDataGenerator(
              preprocessing_function=lambda x: x/255., # 归一化到 [0, 1]
              width_shift_range=4,                     # 水平随机平移
              height_shift_range=4,                    # 垂直随机平移
              horizontal_flip=True,                    # 水平随机翻转
              vertical_flip=True)                      # 垂直随机翻转

2. 模型训练示例

假设你已经定义好了一个 Keras 模型（例如简单的 CNN 或 DenseNet），可以使用 fit_generator 开始训练。

# 假设 model 已经定义并编译完成
# batch_size 根据显存大小调整，例如 64 或 128
batch_size = 64

model.fit_generator(
    datagen.flow(x_train, y_train, batch_size=batch_size),
    steps_per_epoch=len(x_train) // batch_size,
    epochs=10,  # 建议训练更多轮次以达到基准性能
    validation_data=(
        HDF5Matrix('camelyonpatch_level_2_split_valid_x.h5', 'x'),
        HDF5Matrix('camelyonpatch_level_2_split_valid_y.h5', 'y')
    )
)

关键说明

• 标签含义：标签为二分类（0 或 1）。1 表示图像中心 32x32 像素区域内包含至少一个肿瘤组织像素；0 表示无肿瘤。
• 数据平衡：训练集、验证集和测试集均保持 50/50 的正负样本平衡。
• 输入形状：图像尺寸为 (96, 96, 3)。