BioBERT

本仓库提供了微调 BioBERT 的代码，BioBERT 是一种专为生物医学文本挖掘任务设计的生物医学语言表示模型，适用于生物医学命名实体识别、关系抽取、问答等任务。 更多详情请参阅我们的论文 BioBERT: 用于生物医学文本挖掘的预训练生物医学语言表示模型。 本项目由 DMIS-Lab 完成。

下载

我们提供了五个版本的预训练权重。预训练基于 Google 提供的 原始 BERT 代码，训练细节在我们的论文中有所描述。目前可用的预训练权重版本如下（SHA1SUM）：

• BioBERT-Base v1.2 (+ PubMed 1M) - 训练方式与 BioBERT-Base v1.1 相同，但包含 LM 头，可用于探针任务（PyTorch 版本）
• BioBERT-Large v1.1 (+ PubMed 1M) - 基于 BERT-large-Cased（自定义 3 万词汇表），NER/QA 结果
• BioBERT-Base v1.1 (+ PubMed 1M) - 基于 BERT-base-Cased（相同词汇表），论文中的结果
• BioBERT-Base v1.0 (+ PubMed 200K) - 基于 BERT-base-Cased（相同词汇表），论文中的结果
• BioBERT-Base v1.0 (+ PMC 270K) - 基于 BERT-base-Cased（相同词汇表），论文中的结果
• BioBERT-Base v1.0 (+ PubMed 200K + PMC 270K) - 基于 BERT-base-Cased（相同词汇表），论文中的结果

请注意，v1.0 和 v1.1 基础模型（BioBERT-Base v1.0、BioBERT-Base v1.1）的性能已在论文中报告。 此外，您也可以从 这里 下载预训练权重。

安装

以下部分介绍了基于 Tensorflow 1（Python 版本 ≤ 3.7）的 BioBERT 安装和微调流程。 对于 PyTorch 版本的 BioBERT，请查看 此仓库。 如果您不熟悉编程，只想使用 BioBERT 识别文本中的生物医学实体，请使用 此工具，它利用 BioBERT 进行多类型 NER 和归一化。

要微调 BioBERT，您需要下载 BioBERT 的预训练权重。 下载预训练权重后，使用 requirements.txt 按照以下步骤安装 BioBERT：

$ git clone https://github.com/dmis-lab/biobert.git
$ cd biobert; pip install -r requirements.txt

请注意，本仓库基于 Google 的 BERT 仓库。 所有微调实验均在一台配备 12GB 内存的 TITAN Xp GPU 机器上进行。 您可能需要安装 java 才能使用 BioASQ 的官方评估脚本。其他详细信息请参阅 requirements.txt。

快速链接

链接	详情
BioBERT-PyTorch	基于 PyTorch 的 BioBERT 实现
BERN	基于 Web 的生物医学 NER + 归一化，使用 BioBERT
BERN2	BERN 的高级版本（基于 Web 的生物医学 NER），结合 BioLM 的 NER 和 PubMedBERT 的 NEN
covidAsk	基于 BioBERT 的 COVID-19 实时问答模型
第 7 届 BioASQ	第七届 BioASQ 挑战赛获奖模型的代码（事实型/是/否/列表型问题）
论文	论文链接，附 BibTeX（Bioinformatics）

常见问题解答

• 如何使用 PyTorch 版本的 BioBERT？
• 能否使用 BioBERT 获取词或句子嵌入？
• 如何在 SQuAD 数据集上预训练 QA 模型？
• BioBERT 使用什么词汇表？

数据集

我们为每个任务提供了预处理后的基准数据集，如下所示：

• 命名实体识别：（17.3 MB），8 个生物医学命名实体识别数据集
• 关系抽取：（2.5 MB），2 个生物医学关系抽取数据集
• 问答：（5.23 MB），3 个生物医学问答任务数据集。

您可以直接运行 download.sh 一次性下载所有数据集。

$ ./download.sh

这会将数据集下载到 datasets 文件夹下。由于其他数据集存在版权问题，我们仅提供其链接：2010 i2b2/VA，ChemProt。

微调 BioBERT

下载其中一个预训练权重后，将其解压到您希望的任何目录，并将其命名为 $BIOBERT_DIR。 例如，当使用 BioBERT-Base v1.1 (+ PubMed 1M) 时，设置 BIOBERT_DIR 环境变量如下：

$ export BIOBERT_DIR=./biobert_v1.1_pubmed
$ echo $BIOBERT_DIR
>>> ./biobert_v1.1_pubmed

命名实体识别 (NER)

设 $NER_DIR 表示一个包含 train_dev.tsv、train.tsv、devel.tsv 和 test.tsv 的单个 NER 数据集文件夹。同时，将 $OUTPUT_DIR 设置为 NER 输出目录（包括训练好的模型、测试预测结果等）。例如，在 NCBI 疾病语料库上进行微调时：

$ export NER_DIR=./datasets/NER/NCBI-disease
$ export OUTPUT_DIR=./ner_outputs

以下命令使用默认参数运行 NER 微调代码。

$ mkdir -p $OUTPUT_DIR
$ python run_ner.py --do_train=true --do_eval=true --vocab_file=$BIOBERT_DIR/vocab.txt --bert_config_file=$BIOBERT_DIR/bert_config.json --init_checkpoint=$BIOBERT_DIR/model.ckpt-1000000 --num_train_epochs=10.0 --data_dir=$NER_DIR --output_dir=$OUTPUT_DIR

您可以根据需要修改这些参数。模型训练完成后，可以通过设置 --do_train=false --do_predict=true 来以推理模式对 test.tsv 进行评估。 标记级别的评估结果将以标准输出格式打印出来。 例如，NCBI 疾病数据集的评估结果如下：

INFO:tensorflow:***** 标记级别评估结果 *****
INFO:tensorflow:  eval_f = 0.8972311
INFO:tensorflow:  eval_precision = 0.88150835
INFO:tensorflow:  eval_recall = 0.9136615
INFO:tensorflow:  global_step = 2571
INFO:tensorflow:  loss = 28.247158

（提示：您需要向上翻几行才能找到结果，它出现在 INFO:tensorflow:**** 可训练变量 **** 之前）

请注意，此结果是标记级别的评估指标，而官方评估应使用实体级别的评估指标。python run_ner.py 的结果将被记录为 $OUTPUT_DIR 中的两个文件：token_test.txt 和 label_test.txt。使用 ./biocodes/ner_detokenize.py 可以得到词级别的预测文件。

$ python biocodes/ner_detokenize.py --token_test_path=$OUTPUT_DIR/token_test.txt --label_test_path=$OUTPUT_DIR/label_test.txt --answer_path=$NER_DIR/test.tsv --output_dir=$OUTPUT_DIR

这将在 $OUTPUT_DIR 中生成 NER_result_conll.txt 文件。使用 ./biocodes/conlleval.pl 可以获得实体级别的精确匹配评估结果。

$ perl biocodes/conlleval.pl < $OUTPUT_DIR/NER_result_conll.txt

NCBI 疾病语料库的实体级别结果如下：

处理了 24497 个标记，共 960 个短语；发现 983 个短语；正确 852 个。
准确率：98.49%；精确率：86.67%；召回率：88.75%；FB1：87.70
             其他：精确率：86.67%；召回率：88.75%；FB1：87.70  983

请注意，这只是一个 NER 模型的示例运行。NER 模型的性能通常在超过 50 个 epoch 后才会收敛（建议学习率为 1e-5）。

关系抽取 (RE)

设 $RE_DIR 表示一个单个 RE 数据集的文件夹，$TASK_NAME 表示任务名称（有两个可选选项：{gad, euadr}），而 $OUTPUT_DIR 表示 RE 输出目录：

$ export RE_DIR=./datasets/RE/GAD/1
$ export TASK_NAME=gad
$ export OUTPUT_DIR=./re_outputs_1

以下命令使用默认参数运行 RE 微调代码。

$ python run_re.py --task_name=$TASK_NAME --do_train=true --do_eval=true --do_predict=true --vocab_file=$BIOBERT_DIR/vocab.txt --bert_config_file=$BIOBERT_DIR/bert_config.json --init_checkpoint=$BIOBERT_DIR/model.ckpt-1000000 --max_seq_length=128 --train_batch_size=32 --learning_rate=2e-5 --num_train_epochs=3.0 --do_lower_case=false --data_dir=$RE_DIR --output_dir=$OUTPUT_DIR

预测结果将保存到 $OUTPUT_DIR 中名为 test_results.tsv 的文件中。使用 ./biocodes/re_eval.py 进行评估。 请注意，CHEMPROT 数据集是一个多分类数据集，要评估 CHEMPROT 的结果，您需要在运行 re_eval.py 时添加 --task=chemprot 标志。

$ python ./biocodes/re_eval.py --output_path=$OUTPUT_DIR/test_results.tsv --answer_path=$RE_DIR/test.tsv

GAD 数据集的评估结果如下：

F1 分数    : 83.74%
召回率      : 90.75%
精确率   : 77.74%
特异性 : 71.15%

请注意，每次训练或测试新模型时，都需要更改 $OUTPUT_DIR。例如，由于大多数 RE 数据集采用 10 折交叉验证，因此您需要为每一折创建不同的输出目录来训练和测试模型（例如，$ export OUTPUT_DIR=./re_outputs_2）。

问答（QA）

要使用 BioASQ 数据集，您需要在 BioASQ 官网 注册，以获得使用该数据集的授权。 请将上述提供的预处理过的 BioASQ 数据集解压到目录 $QA_DIR 中。 例如，将 QA 输出目录设置为 $OUTPUT_DIR：

$ export QA_DIR=./datasets/QA/BioASQ
$ export OUTPUT_DIR=./qa_outputs

名为 BioASQ-*.json 的文件用于模型的训练和测试，它们是 BioBERT 的预处理格式。 请注意，我们已在 SQuAD 数据集上对模型进行了预训练，以达到最先进的性能（详见 这里 获取在 SQuAD 上预训练的 BioBERT），您可能需要相应地调整 $BIOBERT_DIR。 以下命令将以默认参数运行 QA 任务的微调代码：

$ python run_qa.py --do_train=True --do_predict=True --vocab_file=$BIOBERT_DIR/vocab.txt --bert_config_file=$BIOBERT_DIR/bert_config.json --init_checkpoint=$BIOBERT_DIR/model.ckpt-1000000 --max_seq_length=384 --train_batch_size=12 --learning_rate=5e-6 --doc_stride=128 --num_train_epochs=5.0 --do_lower_case=False --train_file=$QA_DIR/BioASQ-train-factoid-4b.json --predict_file=$QA_DIR/BioASQ-test-factoid-4b-1.json --output_dir=$OUTPUT_DIR

预测结果将保存为 $OUTPUT_DIR 下的 predictions.json 和 nbest_predictions.json 文件。 运行 ./biocodes/transform_nbset2bioasqform.py 将 nbest_predictions.json 转换为 BioASQ JSON 格式，该格式将用于官方评估。

$ python ./biocodes/transform_nbset2bioasqform.py --nbest_path=$OUTPUT_DIR/nbest_predictions.json --output_path=$OUTPUT_DIR

这将在 $OUTPUT_DIR 中生成 BioASQform_BioASQ-answer.json。 从 BioASQ 的 GitHub 仓库克隆 evaluation code，并在 Evaluation-Measures 目录下运行评估代码。请注意，-e 参数应始终设置为 5。

$ git clone https://github.com/BioASQ/Evaluation-Measures.git
$ cd Evaluation-Measures
$ java -Xmx10G -cp $CLASSPATH:./flat/BioASQEvaluation/dist/BioASQEvaluation.jar evaluation.EvaluatorTask1b -phaseB -e 5 ../$QA_DIR/4B1_golden.json ../$OUTPUT_DIR/BioASQform_BioASQ-answer.json

由于我们的模型仅针对事实型问题，结果将如下所示：

0.0 0.3076923076923077 0.5384615384615384 0.394017094017094 0.0 0.0 0.0 0.0 0.0 0.0

其中，第二、第三和第四位数字分别为事实型问题的 SAcc、LAcc 和 MRR。 对于列表型和“是/否”型问题，请参阅我们的仓库中关于 BioBERT 在第七届 BioASQ 挑战赛中的应用 的内容。

许可与免责声明

详情请参阅 LICENSE 文件。下载数据即表示您同意我们的免责声明。

引用

@article{lee2020biobert,
  title={BioBERT: a pre-trained biomedical language representation model for biomedical text mining},
  author={Lee, Jinhyuk and Yoon, Wonjin and Kim, Sungdong and Kim, Donghyeon and Kim, Sunkyu and So, Chan Ho and Kang, Jaewoo},
  journal={Bioinformatics},
  volume={36},
  number={4},
  pages={1234--1240},
  year={2020},
  publisher={Oxford University Press}
}

联系方式

如在使用 BioBERT 时遇到任何问题或需要帮助，请提交 GitHub 问题。有关 BioBERT 的沟通事宜，请联系 Jinhyuk Lee (lee.jnhk (at) gmail.com) 或 Wonjin Yoon (wonjin.info (at) gmail.com)。

BioBERT 快速上手指南

BioBERT 是专为生物医学文本挖掘任务（如命名实体识别、关系抽取、问答系统等）设计的预训练语言模型。本指南基于 TensorFlow 1 版本，帮助开发者快速完成环境搭建与模型微调。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux 或 macOS (Windows 需使用 WSL 或 Docker)
• Python 版本: <= 3.7 (官方代码基于 TensorFlow 1.x)
• 硬件要求: 建议配备 NVIDIA GPU (显存 >= 12GB，如 TITAN Xp)，单卡即可运行大部分微调实验。
• 前置依赖:
  • Git
  • Java (可选，仅在使用 BioASQ 官方评估脚本时需要)
  • Perl (用于实体级评估脚本 conlleval.pl)

注意：如果您更习惯使用 PyTorch，请参考 BioBERT-PyTorch 仓库。若仅需直接识别生物医学实体而无需编码，可使用在线工具 BERN。

2. 安装步骤

2.1 克隆代码库

首先从 GitHub 克隆官方仓库并进入目录：

git clone https://github.com/dmis-lab/biobert.git
cd biobert

2.2 安装 Python 依赖

使用提供的 requirements.txt 安装所需库：

pip install -r requirements.txt

2.3 下载预训练权重

选择适合您任务的预训练模型版本并下载。以下以 BioBERT-Base v1.1 (+ PubMed 1M) 为例：

# 创建目录并下载
mkdir biobert_v1.1_pubmed
cd biobert_v1.1_pubmed
wget http://nlp.dmis.korea.edu/projects/biobert-2020-checkpoints/biobert_v1.1_pubmed.tar.gz
tar -xzf biobert_v1.1_pubmed.tar.gz
cd ..

设置环境变量指向模型目录：

export BIOBERT_DIR=./biobert_v1.1_pubmed
echo $BIOBERT_DIR

2.4 下载数据集 (可选)

如果需要运行官方示例，可以一键下载预处理好的基准数据集：

./download.sh

注：部分受版权保护的数据集（如 2010 i2b2/VA, ChemProt）需自行前往官网下载。

3. 基本使用

以下展示最核心的 命名实体识别 (NER) 微调流程。其他任务（关系抽取、问答）逻辑类似。

3.1 配置路径

假设您使用 NCBI 疾病数据集，设置数据目录和输出目录：

export NER_DIR=./datasets/NER/NCBI-disease
export OUTPUT_DIR=./ner_outputs
mkdir -p $OUTPUT_DIR

3.2 执行微调训练

运行微调脚本。以下命令使用默认参数进行训练和评估：

python run_ner.py \
  --do_train=true \
  --do_eval=true \
  --vocab_file=$BIOBERT_DIR/vocab.txt \
  --bert_config_file=$BIOBERT_DIR/bert_config.json \
  --init_checkpoint=$BIOBERT_DIR/model.ckpt-1000000 \
  --num_train_epochs=10.0 \
  --data_dir=$NER_DIR \
  --output_dir=$OUTPUT_DIR

提示：NER 模型通常在 50 个 epoch 以上收敛，建议学习率设为 1e-5。

3.3 结果评估

训练完成后，脚本会输出 Token 级别的评估结果。若要获得标准的 实体级别 (Entity-level) 评估结果，需执行去令牌化并计算：

1. 生成 CoNLL 格式结果文件：

   python biocodes/ner_detokenize.py \
     --token_test_path=$OUTPUT_DIR/token_test.txt \
     --label_test_path=$OUTPUT_DIR/label_test.txt \
     --answer_path=$NER_DIR/test.tsv \
     --output_dir=$OUTPUT_DIR
   

2. 计算精确匹配指标：

   perl biocodes/conlleval.pl < $OUTPUT_DIR/NER_result_conll.txt
   

输出示例：

processed 24497 tokens with 960 phrases; found: 983 phrases; correct: 852.
accuracy:  98.49%; precision:  86.67%; recall:  88.75%; FB1:  87.70

3.4 推理模式

若只需对测试集进行预测而不重新训练，将参数调整为：

python run_ner.py \
  --do_train=false \
  --do_predict=true \
  --vocab_file=$BIOBERT_DIR/vocab.txt \
  --bert_config_file=$BIOBERT_DIR/bert_config.json \
  --init_checkpoint=$BIOBERT_DIR/model.ckpt-1000000 \
  --data_dir=$NER_DIR \
  --output_dir=$OUTPUT_DIR