BioBERT 预训练权重

本仓库提供了 BioBERT 的预训练权重，BioBERT 是一种专为生物医学领域设计的语言表示模型，尤其适用于生物医学文本挖掘任务，如生物医学命名实体识别、关系抽取、问答等。更多详细信息请参阅我们的论文《BioBERT：用于生物医学文本挖掘的预训练生物医学语言表示模型》（https://arxiv.org/abs/1901.08746）。

下载预训练权重

请前往本仓库的 releases 页面，或点击下方链接下载 BioBERT 的预训练权重。我们提供了三种组合的预训练权重：BioBERT (+ PubMed)、BioBERT (+ PMC)，以及 BioBERT (+ PubMed + PMC)。

预训练基于 Google 提供的 原始 BERT 代码，训练细节已在我们的论文中详细说明。目前可用的预训练权重版本如下：

• BioBERT-Base v1.1 (+ PubMed 1M) - 基于 BERT-base-Cased（词汇表相同）
• BioBERT-Large v1.1 (+ PubMed 1M) - 基于 BERT-large-Cased（自定义 3 万词汇表），NER/QA 结果
• BioBERT-Base v1.0 (+ PubMed 200K) - 基于 BERT-base-Cased（词汇表相同）
• BioBERT-Base v1.0 (+ PMC 270K) - 基于 BERT-base-Cased（词汇表相同）
• BioBERT-Base v1.0 (+ PubMed 200K + PMC 270K) - 基于 BERT-base-Cased（词汇表相同）

请务必在您的研究工作中注明所使用的预训练权重版本。如果您难以选择使用哪一种，我们建议根据您的 GPU 资源情况，选择 BioBERT-Base v1.1 (+ PubMed 1M) 或 BioBERT-Large v1.1 (+ PubMed 1M)。

需要注意的是，对于 BioBERT-Base 模型，我们使用了 Google 提供的 WordPiece 词汇表 (vocab.txt)。这是因为生物医学语料库中的新词都可以通过子词单元来表示（例如，Leukemia => Leu + ##ke + ##mia）。更多详细信息请参阅已关闭的 issue #1。

预训练语料

我们并未提供各语料的预处理版本。不过，您可以通过以下链接找到各个预训练语料：

• PubMed Abstracts1：ftp://ftp.ncbi.nlm.nih.gov/pubmed/baseline/
• PubMed Abstracts2：ftp://ftp.ncbi.nlm.nih.gov/pubmed/updatefiles/
• PubMed Central 全文：ftp://ftp.ncbi.nlm.nih.gov/pub/pmc/oa_bulk/

预计每个语料的规模分别为：PubMed Abstracts1 + PubMed Abstracts2 约 45 亿词，PubMed Central 全文 约 135 亿词。

微调 BioBERT

要使用提供的预训练权重对 BioBERT 进行微调以完成生物医学文本挖掘任务，请参考 DMIS 的 BioBERT GitHub 仓库。

引用

@article{10.1093/bioinformatics/btz682,
    author = {Lee, Jinhyuk and Yoon, Wonjin and Kim, Sungdong and Kim, Donghyeon and Kim, Sunkyu and So, Chan Ho and Kang, Jaewoo},
    title = "{BioBERT: a pre-trained biomedical language representation model for biomedical text mining}",
    journal = {Bioinformatics},
    year = {2019},
    month = {09},
    issn = {1367-4803},
    doi = {10.1093/bioinformatics/btz682},
    url = {https://doi.org/10.1093/bioinformatics/btz682},
}

联系方式

如在使用 BioBERT 预训练权重时遇到任何问题或需要帮助，请提交 GitHub issue。有关 BioBERT 预训练权重的相关沟通，请联系 Jinhyuk Lee（lee.jnhk@gmail.com）或 Sungdong Kim（sungdong.kim@navercorp.com）。

BioBERT Pre-trained 快速上手指南

BioBERT 是专为生物医学领域设计的预训练语言模型，适用于命名实体识别（NER）、关系抽取、问答系统等生物医学文本挖掘任务。本指南将帮助您快速下载权重并集成到项目中。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：3.6 或更高
• 深度学习框架：TensorFlow 1.x 或 PyTorch (需配合 transformers 库)
• 硬件建议：
  • GPU：推荐使用 NVIDIA GPU 以加速推理和微调。
  • 显存：
    • BioBERT-Base 系列：建议至少 8GB 显存。
    • BioBERT-Large 系列：建议至少 16GB 显存。
• 前置依赖：

  pip install tensorflow-gpu # 或 torch transformers
  

安装与权重下载

BioBERT 本身不提供独立的 Python 安装包，而是提供预训练权重文件。您需要先下载权重，然后加载到 BERT 架构中。

1. 选择模型版本

根据您的显存资源和任务需求，选择合适的版本：

• 推荐（平衡性能与资源）：BioBERT-Base v1.1 (+ PubMed 1M)
• 高性能（需大显存）：BioBERT-Large v1.1 (+ PubMed 1M)
• 旧版本兼容：v1.0 系列（基于较少数据预训练）

2. 下载权重

由于官方链接指向 Google Drive，国内用户下载可能较慢。您可以使用以下命令配合 gdown 工具下载，或手动访问链接下载后放入本地目录。

安装下载工具：

pip install gdown

下载推荐版本 (BioBERT-Base v1.1):

gdown --id 1R84voFKHfWV9xjzeLzWBbmY1uOMYpnyD
unzip biobert_v1.1_pubmed.zip

注：解压后将得到 bert_config.json, biobert_model.ckpt.*, vocab.txt 等文件。

提示：如果您使用 Hugging Face transformers 库，可以直接通过模型名称加载（如果社区已上传转换后的版本），例如 dmis-lab/biobert-v1.1-pubmed，无需手动下载文件。

基本使用

以下展示如何使用 Hugging Face transformers 库加载 BioBERT 进行简单的文本编码（这是最通用的方式）。

方案 A：直接通过 Transformers 加载（推荐）

如果您能访问 Hugging Face Hub，这是最简单的方法。

from transformers import AutoTokenizer, AutoModel
import torch

# 加载分词器和模型
# 注意：模型名称对应 dmis-lab 在 HF 上托管的版本
model_name = "dmis-lab/biobert-v1.1-pubmed"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModel.from_pretrained(model_name)

# 准备生物医学文本
text = "Leukemia is a type of cancer found in the blood and bone marrow."

# 编码输入
inputs = tokenizer(text, return_tensors="pt", truncation=True, padding=True)

# 获取模型输出
with torch.no_grad():
    outputs = model(**inputs)

# last_hidden_state 形状: [batch_size, sequence_length, hidden_size]
last_hidden_states = outputs.last_hidden_state

print(f"输入令牌数：{inputs['input_ids'].shape[1]}")
print(f"输出向量维度：{last_hidden_states.shape}")

方案 B：加载本地下载的权重

如果您已手动下载了 .ckpt 文件（TensorFlow 格式），通常需要先将其转换为 PyTorch 格式，或者直接使用 TensorFlow 代码加载。以下是使用 transformers 加载本地转换后文件夹的示例：

from transformers import BertTokenizer, BertModel

# 指向您解压后的本地文件夹路径
local_model_path = "./biobert_v1.1_pubmed" 

# 初始化分词器 (BioBERT Base 使用 Google 原始的 vocab.txt)
tokenizer = BertTokenizer.from_pretrained(local_model_path)

# 加载模型
model = BertModel.from_pretrained(local_model_path)

text = "The patient was diagnosed with acute myeloid leukemia."
inputs = tokenizer(text, return_tensors="pt")

outputs = model(**inputs)
print("Model loaded successfully from local path.")

下一步：微调模型

上述示例仅展示了如何提取特征。若要针对特定任务（如 NER、问答）进行微调，请参考官方微调代码库：

• DMIS BioBERT GitHub: https://github.com/dmis-lab/biobert

---

引用说明：若在研究中使用此模型，请务必引用原文：Lee, J., et al. "BioBERT: a pre-trained biomedical language representation model for biomedical text mining." Bioinformatics (2019).