ProtTrans

ProtTrans 提供最先进的蛋白质预训练模型（pre-trained models for proteins）。ProtTrans 使用多种Transformer 模型，在 Summit 超算的数千块 GPU 和 Google 的数百个 TPU 上完成训练。

如需了解更多关于我们工作的信息，请参阅我们的论文：ProtTrans: cracking the language of life’s code through self-supervised deep learning and high performance computing。

本仓库将持续更新新的蛋白质预训练模型，以支持生物信息学（bioinformatics）社区，并特别通过我们的项目 Accelerate SARS-CoV-2 research with transfer learning using pre-trained language modeling models 支持 Covid-19 研究。

目录

• ⌛️  新闻
• 🚀  安装
• 🚀  快速开始
• ⌛️  模型可用性
• ⌛️  数据集可用性
• 🚀  使用方法
  • 🧬  特征提取 (FE)
  • 🚀  Logits 提取
  • 💥  微调 (FT)
  • 🧠  预测
  • ⚗️  蛋白质序列生成
  • 🧐  可视化
  • 📈  基准测试
• 📊  原始下游预测结果
• 📊  后续应用场景
• 📊  与其他工具的比较
• ❤️  社区与贡献
• 📫  有疑问？
• 🤝  发现 Bug？
• ✅  依赖要求
• 🤵  团队
• 💰  赞助方
• 📘  许可证
• ✏️  引用

⌛️  新闻

• 2025/01/22: 继续预训练与进化微调（Continue pre-training & evo-tuning） 展示了如何使用 ProtT5 原始预训练任务，在新蛋白质序列上继续预训练 ProtT5。这包括在一组同源序列上进行继续预训练（即“进化微调”）。
• 2023/07/14: 使用 LoRA 进行微调（FineTuning with LoRA） 提供了使用低秩适配（Low-Rank Adaptation, LoRA）高效微调 ProtT5 的 Notebook 示例，适用于残基级别和蛋白级别的任务（感谢 @0syrys！）。**
• 2022/11/18: 可用性更新：LambdaPP 提供了一个简单的 Web 服务来访问基于 ProtT5 的预测结果；UniProt 现在也提供下载部分选定物种的预计算 ProtT5 嵌入向量（pre-computed ProtT5 embeddings）。

🚀  安装

我们所有的模型均可通过 huggingface/transformers 获取：

pip install torch
pip install transformers
pip install sentencepiece

更多详情请参考 transformers 安装指南。

最近 T5 分词器（T5-tokenizer）的一个变更 会导致 UnboundLocalError: cannot access local variable 'sentencepiece_model_pb2 错误。可通过安装此 PR 或手动安装以下内容修复：

pip install protobuf

如果你使用的 transformers 版本在此 PR 之后，你将看到这个警告。 显式设置 legacy=True 将恢复预期行为并避免警告。你也可以安全忽略该警告，因为 legacy=True 是默认值。

🚀  快速开始

以下示例展示如何从我们性能最佳的蛋白质语言模型 ProtT5-XL-U50（简称 ProtT5）中提取嵌入向量；也可在 Colab 中运行：

from transformers import T5Tokenizer, T5EncoderModel
import torch
import re

device = torch.device('cuda:0' if torch.cuda.is_available() else 'cpu')

# 加载分词器
tokenizer = T5Tokenizer.from_pretrained('Rostlab/prot_t5_xl_half_uniref50-enc', do_lower_case=False)

# 加载模型
model = T5EncoderModel.from_pretrained("Rostlab/prot_t5_xl_half_uniref50-enc").to(device)

# 目前仅 GPU 支持半精度；若要在 CPU 上运行，请使用全精度（不推荐，速度慢很多）
if device == torch.device("cpu"):
    model.to(torch.float32)

# 准备你的蛋白质序列列表
sequence_examples = ["PRTEINO", "SEQWENCE"]

# 将所有稀有/模糊氨基酸替换为 X，并在每个氨基酸之间插入空格
sequence_examples = [" ".join(list(re.sub(r"[UZOB]", "X", sequence))) for sequence in sequence_examples]

# 对序列进行分词，并填充至批次中最长序列的长度
ids = tokenizer(sequence_examples, add_special_tokens=True, padding="longest")

input_ids = torch.tensor(ids['input_ids']).to(device)
attention_mask = torch.tensor(ids['attention_mask']).to(device)

# 生成嵌入向量
with torch.no_grad():
    embedding_repr = model(input_ids=input_ids, attention_mask=attention_mask)

# 提取批次中第一个序列（[0,:]）的残基嵌入，并移除填充及特殊标记（[0,:7]）
emb_0 = embedding_repr.last_hidden_state[0,:7] # 形状 (7 x 1024)
# 同样处理第二个序列（[1,:]），但考虑不同序列长度（[1,:8]）
emb_1 = embedding_repr.last_hidden_state[1,:8] # 形状 (8 x 1024)

# 如果你想为整个蛋白质生成单一表示（即 per-protein embedding）
emb_0_per_protein = emb_0.mean(dim=0) # 形状 (1024)

我们还提供了一个脚本，可简化从给定 FASTA 文件中提取 ProtT5 的残基级别或蛋白级别嵌入：

python prott5_embedder.py --input sequences/some.fasta --output embeddings/residue_embeddings.h5
python prott5_embedder.py --input sequences/some.fasta --output embeddings/protein_embeddings.h5 --per_protein 1

⌛️  模型可用性

模型	Hugging Face	Zenodo	Colab
ProtT5-XL-UniRef50（亦称 ProtT5-XL-U50）	下载	下载	Colab
ProtT5-XL-BFD	下载	下载
ProtT5-XXL-UniRef50	下载	下载
ProtT5-XXL-BFD	下载	下载
ProtBert-BFD	下载	下载
ProtBert	下载	下载
ProtAlbert	下载	下载
ProtXLNet	下载	下载
ProtElectra-Generator-BFD	下载	下载
ProtElectra-Discriminator-BFD	下载	下载

⌛️  数据集可用性

数据集	Dropbox
NEW364	下载
Netsurfp2	下载
CASP12	下载
CB513	下载
TS115	下载
DeepLoc 训练集	下载
DeepLoc 测试集	下载

🚀  使用方法

如何使用 ProtTrans：

• 🧬  特征提取（Feature Extraction, FE）:
  请查看： 嵌入（Embedding）部分。通过 ProtT5-XL-U50 进行特征提取的 Colab 示例

• 🚀  Logits 提取:
  如需提取 ProtT5 的 logits，请查看： VESPA logits 脚本。

• 💥  微调（Fine Tuning, FT）:
  请查看： 微调部分。更多信息即将发布。

• 🧠  预测:
  请查看： 预测部分。通过 ProtT5-XL-U50 进行二级结构预测的 Colab 示例，以及通过 ProtT5-XL-U50 进行亚细胞定位预测和膜结合蛋白与水溶性蛋白区分的 Colab 示例。

• ⚗️  蛋白质序列生成:
  请查看： 生成部分。更多信息即将发布。

• 🧐  可视化:
  请查看： 可视化部分。更多信息即将发布。

• 📈  基准测试:
  请查看： 基准测试部分。更多信息即将发布。

📊  原始下游预测结果

• 🧬  二级结构预测（Q3）：
  

模型	CASP12	TS115	CB513
ProtT5-XL-UniRef50	81	87	86
ProtT5-XL-BFD	77	85	84
ProtT5-XXL-UniRef50	79	86	85
ProtT5-XXL-BFD	78	85	83
ProtBert-BFD	76	84	83
ProtBert	75	83	81
ProtAlbert	74	82	79
ProtXLNet	73	81	78
ProtElectra-Generator	73	78	76
ProtElectra-Discriminator	74	81	79
ProtTXL	71	76	74
ProtTXL-BFD	72	75	77

🆕 在 predictprotein.org 上实时预测您的序列。

• 🧬  二级结构预测（Q8）：
  

模型	CASP12	TS115	CB513
ProtT5-XL-UniRef50	70	77	74
ProtT5-XL-BFD	66	74	71
ProtT5-XXL-UniRef50	68	75	72
ProtT5-XXL-BFD	66	73	70
ProtBert-BFD	65	73	70
ProtBert	63	72	66
ProtAlbert	62	70	65
ProtXLNet	62	69	63
ProtElectra-Generator	60	66	61
ProtElectra-Discriminator	62	69	65
ProtTXL	59	64	59
ProtTXL-BFD	60	65	60

🆕 在 predictprotein.org 上实时预测您的序列。

• 🧬  膜结合蛋白 vs. 水溶性蛋白（Q2）：
  

模型	DeepLoc
ProtT5-XL-UniRef50	91
ProtT5-XL-BFD	91
ProtT5-XXL-UniRef50	89
ProtT5-XXL-BFD	90
ProtBert-BFD	89
ProtBert	89
ProtAlbert	88
ProtXLNet	87
ProtElectra-Generator	85
ProtElectra-Discriminator	86
ProtTXL	85
ProtTXL-BFD	86

• 🧬  亚细胞定位预测（Q10）：
  

模型	DeepLoc
ProtT5-XL-UniRef50	81
ProtT5-XL-BFD	77
ProtT5-XXL-UniRef50	79
ProtT5-XXL-BFD	77
ProtBert-BFD	74
ProtBert	74
ProtAlbert	74
ProtXLNet	68
ProtElectra-Generator	59
ProtElectra-Discriminator	70
ProtTXL	66
ProtTXL-BFD	65

📊  应用案例

层级	类型	工具	任务	论文	网络服务器
蛋白质	功能	Light Attention	亚细胞定位	Light attention predicts protein location from the language of life	(Web-server)
残基	功能	bindEmbed21	结合残基	Protein embeddings and deep learning predict binding residues for various ligand classes	(即将上线)
残基	功能	VESPA	保守性与单氨基酸变异（SAVs）效应	Embeddings from protein language models predict conservation and variant effects	(即将上线)
蛋白质	结构	ProtTucker	蛋白质三维结构相似性预测	Contrastive learning on protein embeddings enlightens midnight zone at lightning speed
残基	结构	ProtT5dst	蛋白质三维结构预测	Protein language model embeddings for fast, accurate, alignment-free protein structure prediction

📊  与其他蛋白质语言模型（pLMs）的比较

在开发 使用案例 的过程中，我们将 ProtTrans 模型与其他蛋白质语言模型进行了比较，例如 ESM 模型。为聚焦输入表示变化的影响，以下对比均在相同架构上、仅替换不同嵌入输入的情况下进行。

任务/模型	ProtBERT-BFD	ProtT5-XL-U50	ESM-1b	ESM-1v	指标	参考文献
亚细胞定位（setDeepLoc）	80	86	83	-	准确率	Light-attention
亚细胞定位（setHard）	58	65	62	-	准确率	Light-attention
保守性预测（ConSurf-DB）	0.540	0.596	0.563	-	MCC	ConsEmb
变异效应预测（DMS数据）	-	0.53	-	0.49	Spearman（均值）	VESPA
变异效应预测（DMS数据）	-	0.53	-	0.53	Spearman（中位数）	VESPA
CATH 超家族分类（无监督）	18	64	57	-	准确率	ProtTucker
CATH 超家族分类（有监督）	39	76	70	-	准确率	ProtTucker
结合残基预测	-	39	32	-	F1	bindEmbed21

关于 ProtT5-XL-UniRef50（简称 ProtT5-XL-U50）的重要说明：所有性能指标均基于从底层 T5 模型编码器侧提取的嵌入向量计算，具体方法见此处。此外，实验均在半精度模式（model.half()）下运行以加速嵌入生成。在半精度模式下，所有实验均未观察到性能下降。

❤️  社区与贡献

ProtTrans 项目是一个由多家合作企业与研究机构支持的开源项目。我们致力于分享所有预训练模型与知识。如果您能协助我们发布新的预训练模型、修复漏洞、提出新功能、改进文档、传播项目或提供支持，我们将不胜感激。

📫  有问题？

欢迎在我们的 ProtTrans Issues 页面提问！若您有私密问题或希望与我们合作，也可通过 RostLab 邮箱 直接联系我们。

🤝  发现漏洞？

欢迎在 ProtTrans 仓库中提交新 Issue，并附上相应标题与描述。若您已找到解决方案，我们非常乐意审核您的 Pull Request！

✅  环境要求

如需提取蛋白质特征或微调我们的预训练模型，需安装 Pytorch 和 Hugging Face 的 Transformers 库。如需模型可视化，还需安装 BertViz 库。

🤵  团队成员

• 慕尼黑工业大学：
  

Ahmed Elnaggar	Michael Heinzinger	Christian Dallago	Ghalia Rehawi	Burkhard Rost

• Med AI Technology：
  

Yu Wang

• Google：
  

Llion Jones

• Nvidia：
  

Tom Gibbs	Tamas Feher	Christoph Angerer

• 首尔国立大学：
  

Martin Steinegger

• 橡树岭国家实验室（ORNL）：
  

Debsindhu Bhowmik

💰  赞助方

Nvidia	Google	Google	ORNL（橡树岭国家实验室）	Software Campus（软件校园计划）

📘  许可证

ProtTrans 预训练模型依据 Academic Free License v3.0 许可协议 发布。

✏️  引用

若您在发表的论文中使用了本代码或我们的预训练模型，请引用原始论文：

@ARTICLE
{9477085,
author={Elnaggar, Ahmed and Heinzinger, Michael and Dallago, Christian and Rehawi, Ghalia and Yu, Wang and Jones, Llion and Gibbs, Tom and Feher, Tamas and Angerer, Christoph and Steinegger, Martin and Bhowmik, Debsindhu and Rost, Burkhard},
journal={IEEE Transactions on Pattern Analysis and Machine Intelligence},
title={ProtTrans: Towards Cracking the Language of Lifes Code Through Self-Supervised Deep Learning and High Performance Computing},
year={2021},
volume={},
number={},
pages={1-1},
doi={10.1109/TPAMI.2021.3095381}}

ProtTrans 快速上手指南

环境准备

• 操作系统：支持 Linux、macOS、Windows（推荐 Linux 或 macOS 用于 GPU 加速）
• Python 版本：建议 Python 3.7+
• 硬件要求：
  • 推荐使用 NVIDIA GPU（CUDA 支持）以获得最佳性能
  • CPU 可运行，但速度较慢（需使用全精度模式）
• 前置依赖：
  • PyTorch（带 CUDA 支持更佳）
  • transformers 库
  • sentencepiece 分词器
  • protobuf（解决部分版本 tokenizer 报错）

注：目前无官方中国镜像源，建议使用 pip 国内源加速安装（如清华、阿里云等）。

---

安装步骤

pip install torch
pip install transformers
pip install sentencepiece
pip install protobuf

若遇 UnboundLocalError: cannot access local variable 'sentencepiece_model_pb2' 错误，请确保已安装 protobuf。

---

基本使用

以下示例展示如何使用 ProtT5-XL-U50 模型提取蛋白质序列的嵌入向量：

from transformers import T5Tokenizer, T5EncoderModel
import torch
import re

device = torch.device('cuda:0' if torch.cuda.is_available() else 'cpu')

# 加载分词器
tokenizer = T5Tokenizer.from_pretrained('Rostlab/prot_t5_xl_half_uniref50-enc', do_lower_case=False)

# 加载模型
model = T5EncoderModel.from_pretrained("Rostlab/prot_t5_xl_half_uniref50-enc").to(device)

# 若在 CPU 上运行，强制转为全精度（半精度仅支持 GPU）
if device == torch.device("cpu"):
    model.to(torch.float32)

# 准备蛋白质序列（示例）
sequence_examples = ["PRTEINO", "SEQWENCE"]

# 预处理：替换稀有氨基酸为 X，并在每个氨基酸间加空格
sequence_examples = [" ".join(list(re.sub(r"[UZOB]", "X", sequence))) for sequence in sequence_examples]

# 编码并填充至批次中最长序列
ids = tokenizer(sequence_examples, add_special_tokens=True, padding="longest")
input_ids = torch.tensor(ids['input_ids']).to(device)
attention_mask = torch.tensor(ids['attention_mask']).to(device)

# 提取嵌入向量（禁用梯度计算）
with torch.no_grad():
    embedding_repr = model(input_ids=input_ids, attention_mask=attention_mask)

# 获取第一个序列前7个残基的嵌入（去除padding）
emb_0 = embedding_repr.last_hidden_state[0,:7]  # shape: (7, 1024)

# 获取整条蛋白的平均嵌入（per-protein embedding）
emb_0_per_protein = emb_0.mean(dim=0)  # shape: (1024,)

更多实用脚本（如从 FASTA 文件批量生成嵌入）请参考项目中的 prott5_embedder.py。