BioGPT

本仓库包含 BioGPT：用于生物医学文本生成与挖掘的生成式预训练 Transformer 的实现，作者为 Renqian Luo、Liai Sun、Yingce Xia、Tao Qin、Sheng Zhang、Hoifung Poon 和 Tie-Yan Liu。

要求与安装

• PyTorch 版本 == 1.12.0
• Python 版本 == 3.10
• fairseq 版本 == 0.12.0：

git clone https://github.com/pytorch/fairseq
cd fairseq
git checkout v0.12.0
pip install .
python setup.py build_ext --inplace
cd ..

• Moses

git clone https://github.com/moses-smt/mosesdecoder.git
export MOSES=${PWD}/mosesdecoder

• fastBPE

git clone https://github.com/glample/fastBPE.git
export FASTBPE=${PWD}/fastBPE
cd fastBPE
g++ -std=c++11 -pthread -O3 fastBPE/main.cc -IfastBPE -o fast

• sacremoses

pip install sacremoses

• sklearn

pip install scikit-learn

请务必将环境变量 MOSES 和 FASTBPE 分别设置为 Moses 和 fastBPE 的路径，因为后续会用到它们。

快速入门

预训练模型

我们提供了预训练的 BioGPT 模型检查点以及针对下游任务的微调检查点，既可以通过 URL 下载，也可以通过 Hugging Face 🤗 Hub 获取。

模型	描述	URL	🤗 Hub
BioGPT	预训练的 BioGPT 模型检查点	链接	链接
BioGPT-Large	预训练的 BioGPT-Large 模型检查点	链接	链接
BioGPT-QA-PubMedQA-BioGPT	在 PubMedQA 数据集上微调的 BioGPT 问答模型	链接
BioGPT-QA-PubMedQA-BioGPT-Large	在 PubMedQA 数据集上微调的 BioGPT-Large 问答模型	链接
BioGPT-RE-BC5CDR	在 BC5CDR 数据集上微调的 BioGPT 关系抽取模型	链接
BioGPT-RE-DDI	在 DDI 数据集上微调的 BioGPT 关系抽取模型	链接
BioGPT-RE-DTI	在 KD-DTI 数据集上微调的 BioGPT 关系抽取模型	链接
BioGPT-DC-HoC	在 HoC 数据集上微调的 BioGPT 文档分类模型	链接

请下载这些文件并解压到该项目的 checkpoints 文件夹中。

例如：

mkdir checkpoints
cd checkpoints
wget https://msralaphilly2.blob.core.windows.net/release/BioGPT/checkpoints/Pre-trained-BioGPT.tgz?sp=r&st=2023-11-13T15:37:35Z&se=2099-12-30T23:37:35Z&spr=https&sv=2022-11-02&sr=b&sig=3CcG1TOhqJPBhkVutvVn3PtUq0vPyLBgwggUfojypfY%3D
tar -zxvf Pre-trained-BioGPT.tgz

示例用法

在代码中使用预训练的 BioGPT 模型：

import torch
from fairseq.models.transformer_lm import TransformerLanguageModel
m = TransformerLanguageModel.from_pretrained(
        "checkpoints/Pre-trained-BioGPT", 
        "checkpoint.pt", 
        "data",
        tokenizer='moses', 
        bpe='fastbpe', 
        bpe_codes="data/bpecodes",
        min_len=100,
        max_len_b=1024)
m.cuda()
src_tokens = m.encode("COVID-19 is")
generate = m.generate([src_tokens], beam=5)[0]
output = m.decode(generate[0]["tokens"])
print(output)

在代码中使用在 KD-DTI 数据集上微调的 BioGPT 模型进行药物-靶点相互作用预测：

import torch
from src.transformer_lm_prompt import TransformerLanguageModelPrompt
m = TransformerLanguageModelPrompt.from_pretrained(
        "checkpoints/RE-DTI-BioGPT", 
        "checkpoint_avg.pt", 
        "data/KD-DTI/relis-bin",
        tokenizer='moses', 
        bpe='fastbpe', 
        bpe_codes="data/bpecodes",
        max_len_b=1024,
        beam=1)
m.cuda()
src_text="" # 输入文本，例如 PubMed 摘要
src_tokens = m.encode(src_text)
generate = m.generate([src_tokens], beam=args.beam)[0]
output = m.decode(generate[0]["tokens"])
print(output)

更多下游任务，请参阅下文。

下游任务

请参阅 examples 中的相应文件夹：

BC5CDR 上的关系抽取

KD-DTI 上的关系抽取

DDI 上的关系抽取

HoC 上的文档分类

PubMedQA 上的问答

文本生成

Hugging Face 🤗 使用方法

BioGPT 已集成到 Hugging Face 的 transformers 库中，模型检查点也在 Hugging Face Hub 上提供。

您可以直接使用 pipeline 进行文本生成。由于生成过程涉及随机性，我们设置了随机种子以确保结果可复现：

from transformers import pipeline, set_seed
from transformers import BioGptTokenizer, BioGptForCausalLM
model = BioGptForCausalLM.from_pretrained("microsoft/biogpt")
tokenizer = BioGptTokenizer.from_pretrained("microsoft/biogpt")
generator = pipeline('text-generation', model=model, tokenizer=tokenizer)
set_seed(42)
generator("COVID-19 is", max_length=20, num_return_sequences=5, do_sample=True)

以下是如何在 PyTorch 中使用该模型获取给定文本特征的方法：

from transformers import BioGptTokenizer, BioGptForCausalLM
tokenizer = BioGptTokenizer.from_pretrained("microsoft/biogpt")
model = BioGptForCausalLM.from_pretrained("microsoft/biogpt")
text = "Replace me by any text you'd like."
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)

束搜索解码：

import torch
from transformers import BioGptTokenizer, BioGptForCausalLM, set_seed

tokenizer = BioGptTokenizer.from_pretrained("microsoft/biogpt")
model = BioGptForCausalLM.from_pretrained("microsoft/biogpt")

sentence = "COVID-19 is"
inputs = tokenizer(sentence, return_tensors="pt")

set_seed(42)

with torch.no_grad():
    beam_output = model.generate(**inputs,
                                 min_length=100,
                                 max_length=1024,
                                 num_beams=5,
                                 early_stopping=True
                                )
tokenizer.decode(beam_output[0], skip_special_tokens=True)

更多信息请参阅 Hugging Face 官网上的 文档。

演示

请在 Hugging Face Spaces 上查看以下演示：

• 使用 BioGPT-Large 进行文本生成
• 使用 BioGPT-Large-PubMedQA 进行问答

许可证

BioGPT 采用 MIT 许可证。该许可证同样适用于预训练模型。

贡献

本项目欢迎贡献和建议。大多数贡献都需要您同意贡献者许可协议（CLA），声明您有权且确实授予我们使用您贡献的权利。详情请访问 https://cla.opensource.microsoft.com。

当您提交拉取请求时，CLA 机器人会自动判断您是否需要提供 CLA，并相应地标记 PR（例如状态检查、评论）。只需按照机器人提供的指示操作即可。对于所有使用我们 CLA 的仓库，您只需完成一次此步骤。

本项目已采纳 微软开源行为准则。更多信息请参阅 行为准则常见问题解答，或如有任何其他疑问或意见，请联系 opencode@microsoft.com。

商标

本项目可能包含项目、产品或服务的商标或标识。未经授权使用微软商标或标识须遵守并遵循 微软商标与品牌指南。在本项目的修改版本中使用微软商标或标识不得造成混淆或暗示微软的赞助。任何第三方商标或标识的使用均应遵守其各自的政策。

BioGPT 快速上手指南

BioGPT 是微软研究院推出的面向生物医学领域的生成式预训练 Transformer 模型，专为生物医学文本生成和挖掘任务设计。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐) 或 macOS
• Python: 3.10
• PyTorch: 1.12.0
• GPU: 支持 CUDA 的 NVIDIA 显卡（推荐用于推理加速）

安装步骤

1. 安装基础依赖

首先安装 PyTorch 和其他 Python 依赖包。国内用户建议使用清华源或阿里源加速下载。

# 安装 PyTorch 1.12.0 (根据具体 CUDA 版本调整，此处以 CPU 版为例，生产环境请安装对应的 CUDA 版本)
pip install torch==1.12.0 torchvision==0.13.0 torchaudio==0.12.0 --index-url https://pypi.tuna.tsinghua.edu.cn/simple

# 安装其他 Python 依赖
pip install scikit-learn sacremoses --index-url https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装 fairseq

BioGPT 基于 fairseq 框架，需要安装特定版本 (v0.12.0)。

git clone https://github.com/pytorch/fairseq
cd fairseq
git checkout v0.12.0
pip install .
python setup.py build_ext --inplace
cd ..

3. 安装 Moses 分词器

git clone https://github.com/moses-smt/mosesdecoder.git
export MOSES=${PWD}/mosesdecoder

4. 安装 fastBPE

git clone https://github.com/glample/fastBPE.git
export FASTBPE=${PWD}/fastBPE
cd fastBPE
g++ -std=c++11 -pthread -O3 fastBPE/main.cc -IfastBPE -o fast
cd ..

注意：请确保 MOSES 和 FASTBPE 环境变量已正确设置，后续运行代码时需要用到。

基本使用

BioGPT 提供了两种主要的使用方式：原生 fairseq 接口和 Hugging Face Transformers 接口。推荐大多数用户使用 Hugging Face 方式，因为它更简洁且无需配置复杂的环境变量。

方式一：使用 Hugging Face Transformers (推荐)

这种方式最简单，自动处理分词和模型加载。

from transformers import pipeline, set_seed
from transformers import BioGptTokenizer, BioGptForCausalLM

# 加载模型和分词器
model = BioGptForCausalLM.from_pretrained("microsoft/biogpt")
tokenizer = BioGptTokenizer.from_pretrained("microsoft/biogpt")

# 创建生成管道
generator = pipeline('text-generation', model=model, tokenizer=tokenizer)

# 设置随机种子以保证结果可复现
set_seed(42)

# 生成文本
# 示例：续写 "COVID-19 is"
result = generator("COVID-19 is", max_length=20, num_return_sequences=5, do_sample=True)

print(result)

进阶用法：束搜索 (Beam Search) 解码 适用于需要更高生成质量的场景：

import torch
from transformers import BioGptTokenizer, BioGptForCausalLM, set_seed

tokenizer = BioGptTokenizer.from_pretrained("microsoft/biogpt")
model = BioGptForCausalLM.from_pretrained("microsoft/biogpt")
model.cuda() # 如果有 GPU

sentence = "COVID-19 is"
inputs = tokenizer(sentence, return_tensors="pt").to(model.device)

set_seed(42)

with torch.no_grad():
    beam_output = model.generate(**inputs,
                                 min_length=100,
                                 max_length=1024,
                                 num_beams=5,
                                 early_stopping=True
                                )

output_text = tokenizer.decode(beam_output[0], skip_special_tokens=True)
print(output_text)

方式二：使用原生 Fairseq 接口

如果您需要使用特定的微调检查点（如药物 - 靶点相互作用任务），或者需要完全控制预处理流程，可以使用此方式。请确保已按“安装步骤”配置好环境变量。

1. 下载模型：

   mkdir checkpoints
   cd checkpoints
   # 下载预训练模型 (示例链接，具体请访问官方 README 获取最新有效链接)
   wget "https://msralaphilly2.blob.core.windows.net/release/BioGPT/checkpoints/Pre-trained-BioGPT.tgz?sp=r&st=2023-11-13T15:37:35Z&se=2099-12-30T23:37:35Z&spr=https&sv=2022-11-02&sr=b&sig=3CcG1TOhqJPBhkVutvVn3PtUq0vPyLBgwggUfojypfY%3D" -O Pre-trained-BioGPT.tgz
   tar -zxvf Pre-trained-BioGPT.tgz
   cd ..
   

2. 运行代码：

   import torch
   from fairseq.models.transformer_lm import TransformerLanguageModel
   
   # 加载预训练模型
   m = TransformerLanguageModel.from_pretrained(
           "checkpoints/Pre-trained-BioGPT", 
           "checkpoint.pt", 
           "data",
           tokenizer='moses', 
           bpe='fastbpe', 
           bpe_codes="data/bpecodes",
           min_len=100,
           max_len_b=1024)
   
   m.cuda() # 移动到 GPU
   
   # 编码输入
   src_tokens = m.encode("COVID-19 is")
   
   # 生成文本
   generate = m.generate([src_tokens], beam=5)[0]
   output = m.decode(generate[0]["tokens"])
   
   print(output)