BlueBERT

***** 新闻 2020年11月1日：BlueBERT 现可在 Hugging Face 上找到 *****

***** 新闻 2019年12月5日：NCBI_BERT 已更名为 BlueBERT *****

***** 新闻 2019年7月11日：预处理的 PubMed 文本 *****

我们上传了用于预训练 BlueBERT 模型的 预处理的 PubMed 文本。

---

本仓库提供了基于 PubMed 摘要和临床记录（MIMIC-III）预训练的 BlueBERT 的代码及模型。更多详情请参阅我们的论文《生物医学自然语言处理中的迁移学习：BERT 和 ELMo 在十个基准数据集上的评估》（https://arxiv.org/abs/1906.05474）。

预训练模型与基准数据集

预训练的 BlueBERT 权重、词汇表和配置文件可从以下链接下载：

• BlueBERT-Base, 不区分大小写, PubMed：该模型在 PubMed 摘要上进行预训练。
• BlueBERT-Base, 不区分大小写, PubMed+MIMIC-III：该模型在 PubMed 摘要和 MIMIC-III 数据上进行预训练。
• BlueBERT-Large, 不区分大小写, PubMed：该模型在 PubMed 摘要上进行预训练。
• BlueBERT-Large, 不区分大小写, PubMed+MIMIC-III：该模型在 PubMed 摘要和 MIMIC-III 数据上进行预训练。

这些预训练权重也可在 Hugging Face 上找到：

• https://huggingface.co/bionlp/bluebert_pubmed_uncased_L-12_H-768_A-12
• https://huggingface.co/bionlp/bluebert_pubmed_mimic_uncased_L-12_H-768_A-12
• https://huggingface.co/bionlp/bluebert_pubmed_uncased_L-24_H-1024_A-16
• https://huggingface.co/bionlp/bluebert_pubmed_mimic_uncased_L-24_H-1024_A-16

基准数据集可从 https://github.com/ncbi-nlp/BLUE_Benchmark 下载。

微调 BlueBERT

假设 BlueBERT 模型已下载至 $BlueBERT_DIR，数据集已下载至 $DATASET_DIR。

如有需要，请将本地目录添加到 $PYTHONPATH。

export PYTHONPATH=.;$PYTHONPATH

句子相似度

python bluebert/run_bluebert_sts.py \
  --task_name='sts' \
  --do_train=true \
  --do_eval=false \
  --do_test=true \
  --vocab_file=$BlueBERT_DIR/vocab.txt \
  --bert_config_file=$BlueBERT_DIR/bert_config.json \
  --init_checkpoint=$BlueBERT_DIR/bert_model.ckpt \
  --max_seq_length=128 \
  --num_train_epochs=30.0 \
  --do_lower_case=true \
  --data_dir=$DATASET_DIR \
  --output_dir=$OUTPUT_DIR

命名实体识别

python bluebert/run_bluebert_ner.py \
  --do_prepare=true \
  --do_train=true \
  --do_eval=true \
  --do_predict=true \
  --task_name="bc5cdr" \
  --vocab_file=$BlueBERT_DIR/vocab.txt \
  --bert_config_file=$BlueBERT_DIR/bert_config.json \
  --init_checkpoint=$BlueBERT_DIR/bert_model.ckpt \
  --num_train_epochs=30.0 \
  --do_lower_case=true \
  --data_dir=$DATASET_DIR \
  --output_dir=$OUTPUT_DIR

任务名称可以是：

• bc5cdr：BC5CDR 化学或疾病任务
• clefe：ShARe/CLEFE 任务

关系抽取

python bluebert/run_bluebert.py \
  --do_train=true \
  --do_eval=false \
  --do_predict=true \
  --task_name="chemprot" \
  --vocab_file=$BlueBERT_DIR/vocab.txt \
  --bert_config_file=$BlueBERT_DIR/bert_config.json \
  --init_checkpoint=$BlueBERT_DIR/bert_model.ckpt \
  --num_train_epochs=10.0 \
  --data_dir=$DATASET_DIR \
  --output_dir=$OUTPUT_DIR \
  --do_lower_case=true 

任务名称可以是：

• chemprot：BC6 ChemProt 任务
• ddi：DDI 2013 任务
• i2b2_2010：I2B2 2010 任务

文档多标签分类

python bluebert/run_bluebert_multi_labels.py \
  --task_name="hoc" \
  --do_train=true \
  --do_eval=true \
  --do_predict=true \
  --vocab_file=$BlueBERT_DIR/vocab.txt \
  --bert_config_file=$BlueBERT_DIR/bert_config.json \
  --init_checkpoint=$BlueBERT_DIR/bert_model.ckpt \
  --max_seq_length=128 \
  --train_batch_size=4 \
  --learning_rate=2e-5 \
  --num_train_epochs=3 \
  --num_classes=20 \
  --num_aspects=10 \
  --aspect_value_list="0,1" \
  --data_dir=$DATASET_DIR \
  --output_dir=$OUTPUT_DIR

推理任务

python bluebert/run_bluebert.py \
  --do_train=true \
  --do_eval=false \
  --do_predict=true \
  --task_name="mednli" \
  --vocab_file=$BlueBERT_DIR/vocab.txt \
  --bert_config_file=$BlueBERT_DIR/bert_config.json \
  --init_checkpoint=$BlueBERT_DIR/bert_model.ckpt \
  --num_train_epochs=10.0 \
  --data_dir=$DATASET_DIR \
  --output_dir=$OUTPUT_DIR \
  --do_lower_case=true 

预处理的 PubMed 文本

我们提供了用于预训练 BlueBERT 模型的 预处理的 PubMed 文本。该语料库包含约 40 亿词，来源于 PubMed ASCII 版本。其他处理步骤包括：

• 将文本转换为小写
• 移除特殊字符 \x00 至 \x7F
• 使用 NLTK Treebank 分词器对文本进行分词

以下是详细代码片段：

value = value.lower()
value = re.sub(r'[\r\n]+', ' ', value)
value = re.sub(r'[^\x00-\x7F]+', ' ', value)

tokenized = TreebankWordTokenizer().tokenize(value)
sentence = ' '.join(tokenized)
sentence = re.sub(r"\s's\b", "'s", sentence)

使用 BERT 进行预训练

随后，我们使用以下代码生成预训练数据。更多详情请参阅 https://github.com/google-research/bert。

python bert/create_pretraining_data.py \
  --input_file=pubmed_uncased_sentence_nltk.txt \
  --output_file=pubmed_uncased_sentence_nltk.tfrecord \
  --vocab_file=bert_uncased_L-12_H-768_A-12_vocab.txt \
  --do_lower_case=True \
  --max_seq_length=128 \
  --max_predictions_per_seq=20 \
  --masked_lm_prob=0.15 \
  --random_seed=12345 \
  --dupe_factor=5

我们使用以下代码训练 BERT 模型。如果您是从头开始进行预训练，请勿包含 init_checkpoint。更多详情请参阅 https://github.com/google-research/bert。

python bert/run_pretraining.py \
  --input_file=pubmed_uncased_sentence_nltk.tfrecord \
  --output_dir=$BlueBERT_DIR \
  --do_train=True \
  --do_eval=True \
  --bert_config_file=$BlueBERT_DIR/bert_config.json \
  --init_checkpoint=$BlueBERT_DIR/bert_model.ckpt \
  --train_batch_size=32 \
  --max_seq_length=128 \
  --max_predictions_per_seq=20 \
  --num_train_steps=20000 \
  --num_warmup_steps=10 \
  --learning_rate=2e-5

引用 BlueBERT

• Peng Y, Yan S, Lu Z. 生物医学自然语言处理中的迁移学习：BERT 和 ELMo 在十个基准数据集上的评估。载于《生物医学自然语言处理研讨会（BioNLP）论文集》。2019 年。

@InProceedings{peng2019transfer,
  author    = {Yifan Peng 和 Shankai Yan 和 Zhiyong Lu},
  title     = {生物医学自然语言处理中的迁移学习：BERT 和 ELMo 在十个基准数据集上的评估},
  booktitle = {2019 年生物医学自然语言处理研讨会（BioNLP 2019）论文集},
  year      = {2019},
  pages     = {58--65},
}

致谢

本研究得到了美国国立卫生研究院、美国国家医学图书馆及临床中心的院内研究计划的支持。此外，本研究还获得了美国国立卫生研究院国家医学图书馆颁发的 K99LM013001-01 号资助。

我们亦感谢 BERT 和 ELMo 的作者将相关数据与代码公开发布。

同时，我们要特别感谢 Sun Kim 博士对 PubMed 文本的处理工作。

免责声明

本工具展示的是美国国立卫生研究院国家生物技术信息中心计算生物学研究组开展的研究成果。本网站所提供的信息并非用于直接诊断或在未经临床专业人员审查和指导的情况下作出医疗决策。个人不应仅凭本网站提供的信息改变自身的健康行为。美国国立卫生研究院不会独立核实本工具所生成信息的有效性或实用性。如您对本网站信息存有疑问，请咨询医疗卫生专业人士。有关 NCBI 免责声明政策的更多信息，请参阅相关说明。

BlueBERT 快速上手指南

BlueBERT 是专为生物医学领域设计的预训练语言模型，基于 PubMed 摘要和 MIMIC-III 临床笔记进行训练，适用于命名实体识别、关系抽取、文本分类等任务。

环境准备

• 系统要求：Linux 或 macOS（Windows 需使用 WSL），建议具备 GPU 加速环境。
• 前置依赖：
  • Python 3.6+
  • TensorFlow 1.x (官方代码基于 TF1，若使用 HuggingFace Transformers 则需 PyTorch/TF2)
  • Git
• 网络提示：模型文件托管于 NIH FTP 服务器，国内下载速度可能较慢。推荐优先使用 HuggingFace 镜像源加载模型，或通过国内云存储中转下载。

安装步骤

1. 克隆代码仓库

   git clone https://github.com/ncbi-nlp/BlueBERT.git
   cd BlueBERT
   

2. 配置环境变量 将当前目录加入 Python 路径，以便调用内部模块：

   export PYTHONPATH=.;$PYTHONPATH
   

3. 获取预训练模型 你可以选择直接从 HuggingFace 加载（推荐），或下载官方检查点文件。

   • 方式 A：通过 HuggingFace Transformers 使用（推荐） 无需手动下载文件，代码中直接指定模型名称即可：

     • bionlp/bluebert_pubmed_uncased_L-12_H-768_A-12 (Base, PubMed)
     • bionlp/bluebert_pubmed_mimic_uncased_L-12_H-768_A-12 (Base, PubMed+MIMIC)
     • bionlp/bluebert_pubmed_uncased_L-24_H-1024_A-16 (Large, PubMed)
     • bionlp/bluebert_pubmed_mimic_uncased_L-24_H-1024_A-16 (Large, PubMed+MIMIC)

   • 方式 B：手动下载官方检查点 如果需要使用原始 TF1 脚本，请从以下地址下载并解压到 $BlueBERT_DIR：

     • BlueBERT-Base, PubMed
     • BlueBERT-Base, PubMed+MIMIC (注：Large 版本及其他组合请参考 README 中的完整链接列表)

4. 准备数据集 下载基准数据集到 $DATASET_DIR：

   git clone https://github.com/ncbi-nlp/BLUE_Benchmark.git $DATASET_DIR
   

基本使用

以下示例展示如何使用官方脚本进行微调。请确保已设置 $BlueBERT_DIR（模型路径）、$DATASET_DIR（数据路径）和 $OUTPUT_DIR（输出路径）。

示例：命名实体识别 (NER)

以 BC5CDR 任务（化学或疾病识别）为例：

python bluebert/run_bluebert_ner.py \
  --do_prepare=true \
  --do_train=true \
  --do_eval=true \
  --do_predict=true \
  --task_name="bc5cdr" \
  --vocab_file=$BlueBERT_DIR/vocab.txt \
  --bert_config_file=$BlueBERT_DIR/bert_config.json \
  --init_checkpoint=$BlueBERT_DIR/bert_model.ckpt \
  --num_train_epochs=30.0 \
  --do_lower_case=true \
  --data_dir=$DATASET_DIR \
  --output_dir=$OUTPUT_DIR

支持的任务名称 (--task_name)：

• bc5cdr: BC5CDR 化学/疾病任务
• clefe: ShARe/CLEFE 任务

其他常见任务速查

• 句子相似度 (STS): 使用 bluebert/run_bluebert_sts.py，设置 --task_name='sts'。
• 关系抽取: 使用 bluebert/run_bluebert.py，支持 chemprot (ChemProt), ddi (DDI 2013), i2b2_2010。
• 文档多标签分类: 使用 bluebert/run_bluebert_multi_labels.py，设置 --task_name="hoc"。
• 医学自然语言推理: 使用 bluebert/run_bluebert.py，设置 --task_name="mednli"。

提示：若使用 HuggingFace transformers 库，可直接通过 AutoModelForSequenceClassification.from_pretrained("bionlp/bluebert_pubmed_uncased_L-12_H-768_A-12") 加载模型并进行标准的 PyTorch/TF2 微调流程，无需运行上述特定脚本。