生物嵌入

学习生物嵌入的资源：

• 通过嵌入技术快速预测蛋白质结构和功能：embed.protein.properties。
• 阅读当前文档：docs.bioembeddings.com。
• 与我们聊天：chat.bioembeddings.com。
• 我们在 ISMB 2020 和 LMRL 2020 上以演讲形式介绍了 bio_embeddings 流程。您可以在 YouTube 上找到该演讲，在 F1000 上找到海报，以及我们的 Current Protocol 论文。
• 查看流程配置的 examples 和 notebooks。

项目目标：

• 通过提供单一、一致的接口和几乎零摩擦的使用体验，促进基于语言模型的生物序列表示在迁移学习中的应用。
• 可重复的工作流程。
• 丰富的表示深度（来自不同实验室、针对不同数据集和不同目的训练的不同模型）。
• 丰富的示例、为用户处理复杂性问题（例如 CUDA OOM 抽象），以及详尽的警告和错误信息文档。

该项目包括：

• 基于公开模型训练的通用 Python 嵌入器，用于生物序列表示（SeqVec、ProtTrans、UniRep 等）。
• 一个流程，它：
  • 将序列嵌入为矩阵表示（按氨基酸）或向量表示（按序列），可用于训练学习模型或分析目的。
  • 使用 UMAP 或 t-SNE 将序列级嵌入投影到低维表示中（用于轻量级数据处理和可视化）。
  • 在 2D 和 3D 交互式图表上可视化低维序列级嵌入集合（带或不带注释）。
  • 利用监督（如有）和无监督方法从序列级和氨基酸级嵌入中提取注释（例如通过网络分析）。
• 一个 Web 服务器，将该流程封装为分布式 API，以实现可扩展且一致的工作流。

安装

您可以使用 pip 安装 bio_embeddings，也可以通过 Docker 使用它。请注意 align 的额外依赖项。

Pip

要安装整个流程 以及所有附加组件，可以这样操作：

pip install bio-embeddings[all]

若要安装不稳定版本，请按以下方式安装流程：

pip install -U "bio-embeddings[all] @ git+https://github.com/sacdallago/bio_embeddings.git"

如果您只需要运行特定模型（例如 ESM 或 ProtTrans 模型），可以先安装不含依赖项的 bio-embeddings，然后再安装特定模型的依赖项，例如：

pip install bio-embeddings
pip install bio-embeddings[prottrans]

附加组件包括：

• seqvec
• prottrans
  • prottrans_albert_bfd
  • prottrans_bert_bfd
  • prottrans_t5_bfd
  • prottrans_t5_uniref50
  • prottrans_t5_xl_u50
  • prottrans_xlnet_uniref100
• esm
  • esm
  • esm1b
  • esm1v
• unirep
• cpcprot
• plus
• bepler
• deepblast

Docker

我们在 ghcr.io/bioembeddings/bio_embeddings 提供了一个 Docker 镜像。简单的使用示例：

docker run --rm --gpus all \
    -v "$(pwd)/examples/docker":/mnt \
    -v bio_embeddings_weights_cache:/root/.cache/bio_embeddings \
    -u $(id -u ${USER}):$(id -g ${USER}) \
    ghcr.io/bioembeddings/bio_embeddings:v0.1.6 /mnt/config.yml

请参阅 examples 文件夹中的 docker 示例以获取说明。您也可以使用 ghcr.io/bioembeddings/bio_embeddings:latest，它基于最新提交构建。

依赖项

要使用 mmseqs_search 协议，或在 align 中使用 mmsesq2 函数，您还需要在系统路径中安装 mmseqs2。

安装注意事项

bio_embeddings 是为具备 GPU 功能并已安装 CUDA 的 Unix 系统开发的。如果您的环境与此不同，可能会遇到一些不一致的情况（例如，速度会因缺少 GPU 和 CUDA 而显著降低）。对于 Windows 用户，我们强烈建议使用 Windows Subsystem for Linux。

哪种模型适合您？

每种模型都有其优缺点（速度、特异性、内存占用等）。不存在“一刀切”的解决方案，我们鼓励您在尝试新的探索性项目时至少试用两种不同的模型。

prottrans_t5_xl_u50、esm1b、esm、prottrans_bert_bfd、prottrans_albert_bfd、seqvec 和 prottrans_xlnet_uniref100 这些模型都是为了实现系统性预测而训练的。在这些模型中，我们认为最优的是 prottrans_t5_xl_u50，其次是 esm1b。

使用与示例

我们强烈建议您查看 examples 文件夹中的流程示例，以及 notebooks 文件夹中关于流程后处理和嵌入器通用用途的内容。

安装完软件包后，您可以：

1. 按照以下方式使用流程：

   bio_embeddings config.yml
   

   配置文件的蓝图 [examples/parameters_blueprint.yml]，以及示例设置，都可以在本仓库的 examples 目录中找到。

2. 通过 Python 使用通用嵌入器对象，例如：

   from bio_embeddings.embed import SeqVecEmbedder
   
   embedder = SeqVecEmbedder()
   
   embedding = embedder.embed("SEQVENCE")
   

   更多示例可在本仓库的 notebooks 文件夹中找到。

引用

如果您在研究中使用 bio_embeddings，我们非常感谢您能引用以下论文：

Dallago, C., Schütze, K., Heinzinger, M., Olenyi, T., Littmann, M., Lu, A. X., Yang, K. K., Min, S., Yoon, S., Morton, J. T., & Rost, B. (2021). 从深度学习中学习的嵌入用于可视化和预测蛋白质集合。Current Protocols, 1, e113. doi: 10.1002/cpz1.113

对应的 BibTeX 格式如下：

@article{https://doi.org/10.1002/cpz1.113,
author = {Dallago, Christian and Schütze, Konstantin and Heinzinger, Michael and Olenyi, Tobias and Littmann, Maria and Lu, Amy X. and Yang, Kevin K. and Min, Seonwoo and Yoon, Sungroh and Morton, James T. and Rost, Burkhard},
title = {从深度学习中学习的嵌入用于可视化和预测蛋白质集合},
journal = {Current Protocols},
volume = {1},
number = {5},
pages = {e113},
keywords = {深度学习嵌入, 机器学习, 蛋白质注释流程, 蛋白质表示, 蛋白质可视化},
doi = {https://doi.org/10.1002/cpz1.113},
url = {https://currentprotocols.onlinelibrary.wiley.com/doi/abs/10.1002/cpz1.113},
eprint = {https://currentprotocols.onlinelibrary.wiley.com/doi/pdf/10.1002/cpz1.113},
year = {2021}
}

此外，我们也诚邀您引用 `bio_embeddings` 中收集的其他相关工作（详见下文“按类别划分的工具”部分）。我们正在编写一份增强版用户指南，其中将包含对 `bio_embeddings` 中所有可引用工作的正确引用。

贡献者

• Christian Dallago（负责人）
• Konstantin Schütze
• Tobias Olenyi
• Michael Heinzinger

想添加您自己的模型吗？请参阅贡献指南，获取相关说明。

可用工具的非详尽列表（更多详情请见下文）：

• Fastext
• Glove
• Word2Vec
• SeqVec（https://bmcbioinformatics.biomedcentral.com/articles/10.1186/s12859-019-3220-8）
  • SeqVecSec 和 SeqVecLoc 用于二级结构和亚细胞定位预测
• ProtTrans（ProtBert、ProtAlbert、ProtT5）（https://doi.org/10.1101/2020.07.12.199554）
  • ProtBertSec 和 ProtBertLoc 用于二级结构和亚细胞定位预测
• UniRep（https://www.nature.com/articles/s41592-019-0598-1）
• ESM/ESM1b（https://www.biorxiv.org/content/10.1101/622803v3）
• PLUS（https://github.com/mswzeus/PLUS/）
• CPCProt（https://www.biorxiv.org/content/10.1101/2020.09.04.283929v1.full.pdf）
• PB-Tucker（https://www.biorxiv.org/content/10.1101/2021.01.21.427551v1）
• GoPredSim（https://www.nature.com/articles/s41598-020-80786-0）
• DeepBlast（https://www.biorxiv.org/content/10.1101/2020.11.03.365932v1）

数据集

• prottrans_t5_xl_u50：人类蛋白质组的残基和序列嵌入，全精度 + 二级结构预测 + 亚细胞定位预测：
• prottrans_t5_xl_u50：果蝇蛋白质组的残基和序列嵌入，全精度 + 二级结构预测 + 亚细胞定位预测 + 保守性预测 + 变异预测：

---

按类别划分的工具

流程

• 对齐：
  • DeepBlast（https://www.biorxiv.org/content/10.1101/2020.11.03.365932v1）
• 嵌入：
  • 在 BFD 数据集上训练的 ProtTrans BERT（https://doi.org/10.1101/2020.07.12.199554）
  • SeqVec（https://bmcbioinformatics.biomedcentral.com/articles/10.1186/s12859-019-3220-8）
  • 在 BFD 数据集上训练的 ProtTrans ALBERT（https://doi.org/10.1101/2020.07.12.199554）
  • 在 UniRef100 数据集上训练的 ProtTrans XLNet（https://doi.org/10.1101/2020.07.12.199554）
  • 在 BFD 数据集上训练的 ProtTrans T5（https://doi.org/10.1101/2020.07.12.199554）
  • 在 BFD 数据集上训练并在 UniRef50 上微调的 ProtTrans T5（内部开发）
  • UniRep（https://www.nature.com/articles/s41592-019-0598-1）
  • ESM/ESM1b（https://www.biorxiv.org/content/10.1101/622803v3）
  • PLUS（https://github.com/mswzeus/PLUS/）
  • CPCProt（https://www.biorxiv.org/content/10.1101/2020.09.04.283929v1.full.pdf）
• 投影：
  • t-SNE
  • UMAP
  • PB-Tucker（https://www.biorxiv.org/content/10.1101/2021.01.21.427551v1）
• 可视化：
  • 二维/三维序列嵌入空间
• 提取：
  • 监督式：
    • SeqVec：DSSP3、DSSP8、无序区、亚细胞定位及膜结合状态，如 https://bmcbioinformatics.biomedcentral.com/articles/10.1186/s12859-019-3220-8 所述
    • ProtBertSec 和 ProtBertLoc，如 https://doi.org/10.1101/2020.07.12.199554 所报告
  • 非监督式：
    • 通过序列级嵌入（reduced_embeddings）、成对距离（如 goPredSim 使用的欧氏距离），以及其他选项，例如余弦相似度

通用嵌入器

• 在 BFD 数据集上训练的 ProtTrans BERT（https://doi.org/10.1101/2020.07.12.199554）
• SeqVec（https://bmcbioinformatics.biomedcentral.com/articles/10.1186/s12859-019-3220-8）
• 在 BFD 数据集上训练的 ProtTrans ALBERT（https://doi.org/10.1101/2020.07.12.199554）
• 在 UniRef100 数据集上训练的 ProtTrans XLNet（https://doi.org/10.1101/2020.07.12.199554）
• 在 BFD 数据集上训练的 ProtTrans T5（https://doi.org/10.1101/2020.07.12.199554）
• 在 BFD 数据集上训练并在 UniRef50 上微调的 ProtTrans T5（https://doi.org/10.1101/2020.07.12.199554）
• Fastext
• Glove
• Word2Vec
• UniRep（https://www.nature.com/articles/s41592-019-0598-1）
• ESM/ESM1b（https://www.biorxiv.org/content/10.1101/622803v3）
• PLUS（https://github.com/mswzeus/PLUS/）
• CPCProt（https://www.biorxiv.org/content/10.1101/2020.09.04.283929v1.full.pdf）

bio_embeddings 快速上手指南

bio_embeddings 是一个用于生物序列（如蛋白质）表示学习的开源工具包，集成了多种预训练语言模型（如 ProtTrans, ESM, SeqVec 等），支持从序列生成嵌入向量、降维可视化及功能预测。

环境准备

• 操作系统：推荐 Linux (Unix) 系统。
  • Windows 用户：强烈建议安装 WSL (Windows Subsystem for Linux) 以获得最佳兼容性。
• 硬件要求：推荐使用配备 GPU 且已安装 CUDA 的机器。若无 GPU，运行速度将显著降低。
• 前置依赖：
  • Python 环境。
  • 若需使用 mmseqs_search 协议或 align 模块中的功能，需额外安装 mmseqs2 并确保其在系统路径中。

安装步骤

你可以通过 pip 或 Docker 进行安装。

方式一：使用 Pip 安装

1. 安装完整版（包含所有模型依赖）

pip install bio-embeddings[all]

提示：国内用户若下载缓慢，可添加清华源加速： pip install bio-embeddings[all] -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 按需安装（节省空间） 如果只需特定模型（例如仅使用 ProtTrans），可先安装基础包，再安装对应扩展：

pip install bio-embeddings
pip install bio-embeddings[prottrans]

可用的扩展包括：seqvec, esm, unirep, cpcprot, plus, bepler, deepblast 等。

3. 安装开发版（不稳定版本）

pip install -U "bio-embeddings[all] @ git+https://github.com/sacdallago/bio_embeddings.git"

方式二：使用 Docker

直接拉取镜像运行，无需配置本地环境：

docker run --rm --gpus all \
    -v "$(pwd)/examples/docker":/mnt \
    -v bio_embeddings_weights_cache:/root/.cache/bio_embeddings \
    -u $(id -u ${USER}):$(id -g ${USER}) \
    ghcr.io/bioembeddings/bio_embeddings:v0.1.6 /mnt/config.yml

基本使用

安装完成后，你可以通过配置文件运行流水线，或在 Python 代码中直接调用嵌入器。

方法 A：使用配置文件运行流水线

1. 准备一个配置文件（参考 examples/parameters_blueprint.yml）。
2. 执行以下命令：

bio_embeddings config.yml

方法 B：在 Python 中直接使用

你可以直接导入特定的嵌入器类来处理蛋白质序列。以下以 SeqVec 模型为例：

from bio_embeddings.embed import SeqVecEmbedder

# 初始化嵌入器
embedder = SeqVecEmbedder()

# 输入蛋白质序列并生成嵌入向量
sequence = "SEQVENCE"  # 替换为实际的氨基酸序列
embedding = embedder.embed(sequence)

print(embedding.shape)

更多高级用法（如降维可视化、批量处理）请参考项目仓库中的 notebooks 文件夹。