ProteinNet

ProteinNet 是一个用于蛋白质结构机器学习的标准化数据集。它提供了蛋白质序列、结构（包括二级结构和三级结构）、多序列比对（MSAs）、位置特异性评分矩阵（PSSMs）以及标准化的训练/验证/测试划分。ProteinNet 基于两年一度的 CASP 评估——该评估对近期解析但尚未公开的蛋白质结构进行盲测——来提供能够推动计算方法前沿发展的测试集。它以一系列数据集的形式组织，涵盖 CASP 7 至 12（为期十年），从而提供不同规模的数据集，便于在数据相对匮乏和丰富的场景下评估新方法。

请注意，这只是一个初步版本。 用于构建这些数据集的原始数据以及 MSA 尚未公开发布。不过，ProteinNet 12 的原始 MSA 数据（4TB）可按需提供。传输需要下载 Globus 客户端。更多信息请参阅 原始数据 部分。

动机

蛋白质结构预测是生物化学的核心问题之一。尽管这一领域在生物学和化学界已被广泛研究，但在机器学习社区中的关注度却相对较低。我们推测这主要有两个原因：1) 对非领域专家而言，入门门槛较高；2) 缺乏标准化的训练/验证/测试划分，难以实现不同方法之间公平且一致的比较。如果能解决这两个问题，蛋白质结构预测有望成为机器学习研究中继计算机视觉、自然语言处理和语音识别之后的重要创新方向。正如 ImageNet 曾经推动了计算机视觉技术的发展一样，ProteinNet 旨在通过提供标准化的数据集及训练/验证/测试划分，使任何研究团队都能以最小的努力开展蛋白质结构相关的机器学习研究。

方法

每两年一次，会举行 CASP 评估。在这项竞赛中，来自全球的结构预测者会收到一些近期已解析但尚未公开的蛋白质序列，并对其结构进行盲测，随后根据预测的准确性进行评估。因此，CASP 结构为评估预测方法在某一特定时刻的表现提供了一个标准化的基准。ProteinNet 的基本思路是依托 CASP，将 CASP 结构用作测试集。同时，ProteinNet 还为这些测试集补充了训练和验证集，这些集合将“历史记录重置”到每次 CASP 实验开始之前的状态。具体来说，ProteinNet 限制了用于构建 PSSM 和 MSA 的序列及结构，仅使用各次 CASP 开始前可用的数据。这一点至关重要，因为像 BLAST 这样的标准数据库并不保留历史版本。我们使用时间重置后的 UniParc 数据集以及来自 JGI 的宏基因组序列来构建用于生成 MSA 的序列数据库。此外，ProteinNet 还提供了精心划分的验证集，难度从简单（序列相似度 >90%）——可用于评估模型预测蛋白质结构微小变化的能力，如突变——到极其困难（序列相似度 <10%）——可用于评估模型预测全新蛋白质折叠的能力，类似于 CASP 自由建模（FM）类别。从某种意义上讲，我们的验证集构成了一系列迁移性挑战，用以测试模型在数据分布发生变化时的适应能力。我们发现，最难的验证子集甚至超过了 CASP FM 目标的难度。

下载

ProteinNet 记录以两种形式提供：人类可读和机器可读的文本文件，可被任何工具以编程方式使用；以及 TensorFlow 特有的 TFRecord 文件。有关文件格式的更多信息，请参阅文档此处。

CASP7	CASP8	CASP9	CASP10	CASP11	CASP12*
文本版	文本版	文本版	文本版	文本版	文本版
TF Records	TF Records	TF Records	TF Records	TF Records	TF Records

二级结构数据
ASTRAL 条目
PDB 条目

* CASP12 的测试集因受禁运保护的结构而尚未完整。一旦禁运解除，我们将公布所有结构。

文档

• ProteinNet 记录
• 划分方法
• 原始数据
• 常见问题解答

PyTorch 解析器

ProteinNet 包含一个官方的基于 TensorFlow 的解析器。Jeppe Hallgren 慷慨地创建了一个基于 PyTorch 的解析器，该解析器可在 这里 获取。

扩展

SideChainNet 通过添加侧链原子的角度和原子坐标信息，对 ProteinNet 进行了扩展。

引用

请在 BMC 生物信息学期刊中引用 ProteinNet 论文。

致谢

构建该数据集耗费了数百万小时的计算资源，这得益于 哈佛医学院系统药理学实验室、哈佛治疗科学项目 以及 哈佛医学院研究计算部门 的慷慨支持。我们还要感谢 Martin Steinegger 和 Milot Mirdita 在 MMseqs2 和 HHblits 软件包方面提供的大量帮助；感谢 Sergey Ovchinnikov 提供宏基因组序列；感谢 Andriy Kryshtafovych 在 CASP 数据方面的协助；以及感谢 Sean Eddy 在 HMMer 软件包方面的帮助。该数据集由哈佛大学 哈佛医学院研究信息技术解决方案部门 托管。

资助

本研究得到了 NIGMS 资助项目 P50GM107618 和 NCI 资助项目 U54-CA225088 的支持。

ProteinNet 快速上手指南

ProteinNet 是一个用于蛋白质结构机器学习研究的标准化数据集。它基于 CASP（蛋白质结构预测关键评估）竞赛数据，提供了蛋白质序列、二级/三级结构、多序列比对（MSA）和位置特异性评分矩阵（PSSM），并划分了标准的训练/验证/测试集，旨在降低非领域专家的研究门槛并促进方法间的公平比较。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux 或 macOS (Windows 用户建议使用 WSL2 或 Docker)。
• Python: 建议版本 3.6 及以上。
• 深度学习框架:
  • TensorFlow: 官方原生支持 TFRecord 格式。
  • PyTorch: 社区提供了兼容的解析器（需额外安装）。
• 存储空间: 根据选择的 CASP 版本（CASP7-12），数据集大小从几百 MB 到数 GB 不等。若需原始 MSA 数据（仅限 CASP12），需预留 4TB 空间并配置 Globus 客户端。
• 网络环境: 数据托管于哈佛大学服务器，国内下载速度可能较慢，建议配置稳定的网络环境或使用代理加速。目前暂无官方中国镜像源。

安装步骤

ProteinNet 本身是一个数据集而非 Python 包，因此无需通过 pip 安装核心库。您需要根据使用的框架准备相应的解析工具。

1. 准备基础依赖

确保已安装必要的数据处理库：

pip install numpy pandas tqdm

2. 框架特定解析器

• TensorFlow 用户: 无需额外安装，直接使用 TensorFlow 内置 API 读取 .tfrecord 文件。

  pip install tensorflow
  

• PyTorch 用户: 推荐使用社区维护的 OpenProtein 项目中的解析脚本。

  # 克隆包含 PyTorch 解析器的仓库
  git clone https://github.com/OpenProtein/openprotein.git
  # 解析器位于 openprotein/preprocessing.py
  

3. 下载数据集

访问官方下载页面选择所需的 CASP 版本（文本格式或 TFRecord 格式）。以下以命令行下载 CASP12 TFRecord 为例：

# 创建数据目录
mkdir -p proteinnet_data
cd proteinnet_data

# 下载 CASP12 TFRecord 数据 (其他版本替换 URL 即可)
wget https://sharehost.hms.harvard.edu/sysbio/alquraishi/proteinnet/tfrecords/casp12.tar.gz

# 解压数据
tar -xzf casp12.tar.gz

(注：如需二级结构注释等辅助数据，请参考 README 中的 Dropbox 链接手动下载)

基本使用

以下是加载数据的最简示例。

方案 A：使用 TensorFlow (官方推荐)

直接读取 .tfrecord 文件：

import tensorflow as tf

# 定义文件路径
file_path = "proteinnet_data/casp12/train.tfrecord" # 假设解压后的文件名

# 创建数据集对象
dataset = tf.data.TFRecordDataset(file_path)

# 定义解析函数 (需参考官方 docs/proteinnet_records.md 定义 feature description)
def _parse_function(proto):
    # 此处需根据实际 record 结构定义 features，以下为示意
    features = {
        "sequence": tf.io.FixedLenFeature([], tf.string),
        "structure": tf.io.FixedLenFeature([], tf.string),
        # ... 其他字段
    }
    return tf.io.parse_single_example(proto, features)

# 映射解析函数
parsed_dataset = dataset.map(_parse_function)

# 遍历数据
for example in parsed_dataset.take(1):
    print(example['sequence'])

方案 B：使用 PyTorch (社区方案)

利用 OpenProtein 仓库中的预处理脚本进行加载：

import sys
# 引入下载的 OpenProtein 解析模块
sys.path.append('openprotein') 
from preprocessing import ProteinNetParser

# 初始化解析器 (具体参数需参考该仓库文档)
parser = ProteinNetParser()

# 加载数据 (示例路径)
data_path = "proteinnet_data/casp12/train.txt" # 如果使用文本格式
# 注意：PyTorch 解析器通常针对文本格式优化，若需使用 TFRecord 可能需要转换或自定义 Dataset 类

# 模拟获取一条数据
# sequence, structure, msa = parser.parse_entry(entry_line)
print("PyTorch 解析器已就绪，请参考 openprotein/preprocessing.py 实现自定义 Dataset 类。")

数据划分说明

下载的数据包通常已按标准划分为：

• Train: 用于模型训练。
• Validation: 包含不同难度子集（序列相似度 >90% 到 <10%），用于评估模型泛化能力。
• Test: 基于 CASP 竞赛的盲测数据，用于最终基准测试。

在使用时，请根据实验目的选择对应的文件子集。