ERNIE（OpenSKL的子项目）

ERNIE是OpenSKL的一个子项目，提供了一个开源工具包（Enhanced language RepresentatioN with Informative Entities），用于将知识图谱表示增强到预训练语言模型中。

概述

ERNIE包含了论文“ERNIE: 基于信息实体的增强语言表示”的源代码和数据集，是一个高效且实用的工具包，能够将知识图谱表示有效地融入预训练语言模型中。

模型

我们在这个工具包中提供了基于知识增强的预训练语言模型ERNIE。同时，我们也提供了针对不同下游任务微调ERNIE的详细命令。

评估

我们通过微调ERNIE，在实体分类和关系分类任务上验证了其有效性。

设置

我们使用以下数据集：FIGER和OpenEntity用于实体分类，FewRel和TACRED用于关系分类。我们将首先对BERT和ERNIE模型进行微调，然后评估它们的准确率和F1分数。

结果

以下是我们在上述数据集上的主要结果。从表格中可以看出，ERNIE显著提升了BERT在这些知识驱动任务上的性能。

	FIGER	OpenEntity	FewRel	TACRED
	Acc.	F1	F1	F1
BERT	52.04	73.56	84.89	66.00
ERNIE	57.19	75.56	88.32	67.97

使用方法

需求：

• Pytorch>=0.4.1
• Python3
• tqdm
• boto3
• requests
• apex（如果要使用fp16，需确保commit为79ad5a88e91434312b43b4a89d66226be5f2cc98。）

准备预训练数据

运行以下命令以创建训练实例。

  # 下载维基转储文件
  wget https://dumps.wikimedia.org/enwiki/latest/enwiki-latest-pages-articles.xml.bz2
  # 下载anchor2id
  wget -c https://cloud.tsinghua.edu.cn/f/6318808dded94818b3a1/?dl=1 -O anchor2id.txt
  # 使用WikiExtractor提取文本
  python3 pretrain_data/WikiExtractor.py enwiki-latest-pages-articles.xml.bz2 -o pretrain_data/output -l --min_text_length 100 --filter_disambig_pages -it abbr,b,big --processes 4
  # 使用4个进程处理锚点
  python3 pretrain_data/extract.py 4
  # 使用4个进程进行预处理
  python3 pretrain_data/create_ids.py 4
  # 创建训练实例
  python3 pretrain_data/create_insts.py 4
  # 合并数据
  python3 code/merge.py

如果你想自己获取anchor2id，可以在python3 pretrain_data/extract.py 4之后运行以下代码（这大约需要半天时间）：

  # 提取锚点
  python3 pretrain_data/utils.py get_anchors
  # 使用锚点链接查询MediaWiki API以获取维基数据项目ID。更多详情请参阅https://en.wikipedia.org/w/api.php?action=help。
  python3 pretrain_data/create_anchors.py 256 
  # 聚合锚点
  python3 pretrain_data/utils.py agg_anchors

运行以下命令进行预训练：

  python3 code/run_pretrain.py --do_train --data_dir pretrain_data/merge --bert_model bert_base --output_dir pretrain_out/ --task_name pretrain --fp16 --max_seq_length 256

我们使用8块NVIDIA-2080Ti显卡来预训练模型，每张显卡有32个实例。整个训练过程大约需要一天时间（完成1个epoch即可）。

预训练模型

从Google Drive/清华大学云下载预训练的知识嵌入，并解压：

tar -xvzf kg_embed.tar.gz

从Google Drive/清华大学云下载预训练的ERNIE模型，并解压：

tar -xvzf ernie_base.tar.gz

请注意，在Windows系统下解压可能会失败。

微调

由于除了FewRel之外的大多数数据集都没有实体标注，我们使用TAGME来提取句子中的实体提及，并将其链接到知识图谱中的相应实体。我们提供了标注好的数据集，可以从Google Drive/清华大学云下载。

tar -xvzf data.tar.gz

在项目的根目录下，运行以下代码以在不同数据集上微调ERNIE。

FewRel：

python3 code/run_fewrel.py   --do_train   --do_lower_case   --data_dir data/fewrel/   --ernie_model ernie_base   --max_seq_length 256   --train_batch_size 32   --learning_rate 2e-5   --num_train_epochs 10   --output_dir output_fewrel   --fp16   --loss_scale 128
# 评估
python3 code/eval_fewrel.py   --do_eval   --do_lower_case   --data_dir data/fewrel/   --ernie_model ernie_base   --max_seq_length 256   --train_batch_size 32   --learning_rate 2e-5   --num_train_epochs 10   --output_dir output_fewrel   --fp16   --loss_scale 128

TACRED：

python3 code/run_tacred.py   --do_train   --do_lower_case   --data_dir data/tacred   --ernie_model ernie_base   --max_seq_length 256   --train_batch_size 32   --learning_rate 2e-5   --num_train_epochs 4.0   --output_dir output_tacred   --fp16   --loss_scale 128 --threshold 0.4
# 评估
python3 code/eval_tacred.py   --do_eval   --do_lower_case   --data_dir data/tacred   --ernie_model ernie_base   --max_seq_length 256   --train_batch_size 32   --learning_rate 2e-5   --num_train_epochs 4.0   --output_dir output_tacred   --fp16   --loss_scale 128 --threshold 0.4

FIGER：

python3 code/run_typing.py    --do_train   --do_lower_case   --data_dir data/FIGER   --ernie_model ernie_base   --max_seq_length 256   --train_batch_size 2048   --learning_rate 2e-5   --num_train_epochs 3.0   --output_dir output_figer  --gradient_accumulation_steps 32 --threshold 0.3 --fp16 --loss_scale 128 --warmup_proportion 0.2
# 评估
python3 code/eval_figer.py    --do_eval   --do_lower_case   --data_dir data/FIGER   --ernie_model ernie_base   --max_seq_length 256   --train_batch_size 2048   --learning_rate 2e-5   --num_train_epochs 3.0   --output_dir output_figer  --gradient_accumulation_steps 32 --threshold 0.3 --fp16 --loss_scale 128 --warmup_proportion 0.2

OpenEntity：

python3 code/run_typing.py    --do_train   --do_lower_case   --data_dir data/OpenEntity   --ernie_model ernie_base   --max_seq_length 128   --train_batch_size 16   --learning_rate 2e-5   --num_train_epochs 10.0   --output_dir output_open --threshold 0.3 --fp16 --loss_scale 128

# 评估
python3 code/eval_typing.py   --do_eval   --do_lower_case   --data_dir data/OpenEntity   --ernie_model ernie_base   --max_seq_length 128   --train_batch_size 16   --learning_rate 2e-5   --num_train_epochs 10.0   --output_dir output_open --threshold 0.3 --fp16 --loss_scale 128

部分代码改编自 pytorch-pretrained-BERT。大多数参数的解释可以在 pytorch-pretrained-BERT 中找到。

由于 TAGME 提供的标注带有置信度分数，我们使用 --threshlod 来设置最低置信度阈值，只选择置信度高于该阈值的标注。在本实验中，该值通常设为 0.3 或 0.4。

用于关系分类评估的脚本仅输出准确率。若需计算宏平均和微平均指标，应使用来自 tacred repo 的 code/score.py 脚本。

python3 code/score.py gold_file pred_file

gold_file 和 pred_file 可以在输出文件夹（--output_dir）中的每个检查点下找到。

新任务

若想在新任务中使用 ERNIE，应遵循以下步骤：

• 使用如 TAGME 这样的实体链接工具提取文本中的实体。
• 查找提取出的实体对应的 Wikidata ID。
• 将文本和实体序列作为输入数据。

以下是一个快速入门示例（code/example.py），演示如何使用 ERNIE 进行掩码语言模型任务。我们展示了如何使用 TAGME 对给定句子进行标注，并构建 ERNIE 的输入数据。请注意，加载模型需要一些时间（约 5 分钟）。

# 如果尚未安装 tagme
pip install tagme
# 运行示例
python3 code/example.py

引用

如果您使用了这些代码，请引用以下论文：

@inproceedings{zhang2019ernie,
  title={{ERNIE}: Enhanced Language Representation with Informative Entities},
  author={Zhang, Zhengyan and Han, Xu and Liu, Zhiyuan and Jiang, Xin and Sun, Maosong and Liu, Qun},
  booktitle={Proceedings of ACL 2019},
  year={2019}
}

---

关于 OpenSKL

OpenSKL 项目旨在通过表示学习，同时利用结构化知识和自然语言的力量。OpenSKL 的所有子项目分为 算法、资源 和 应用 三大类，具体如下。

• 算法：
  • OpenKE
    • 一个高效且实用的工具包，用于将大规模知识图谱中的结构化知识表示为嵌入向量，其核心功能包括 TransR 和 PTransE,能够有效处理复杂的关系和关系路径。
    • 该工具包还包括三个仓库：
      • KB2E
      • TensorFlow-Transx
      • Fast-TransX
  • ERNIE
    • 一个高效且实用的工具包，用于将知识图谱表示融入预训练的语言模型中。
  • OpenNE
    • 一个高效且实用的工具包，用于将大规模图中的节点表示为嵌入向量，其核心功能是 TADW，能够结合节点的文本属性。
  • OpenNRE
    • 一个高效且实用的工具包，用于实现从文本中提取结构化知识的神经网络模型，其核心功能是 ATT，能够充分考虑与关系相关的信息。
    • 该工具包还包括两个仓库：
      • JointNRE
      • NRE
• 资源：
  • OpenKE 预训练的大规模知识图谱嵌入，涵盖三种典型的大型知识图谱：Wikidata、Freebase 和 XLORE。这些嵌入可在 MIT 许可证 下免费使用，您可以通过以下链接提交 下载请求。
  • OpenKE-Wikidata
    • Wikidata 是一个免费的协作式数据库，收集结构化数据以支持维基百科。原始 Wikidata 包含 20,982,733 个实体、594 种关系和 68,904,773 组三元组。其中，Wikidata-5M 是 Wikidata 的核心子图，包含 5,040,986 个高频实体及其对应的 927 种关系和 24,267,796 组三元组。
    • TransE 版本：由 OpenKE 预训练的 Wikidata 知识嵌入。
    • TransR 版本 的 Wikidata-5M：由 OpenKE 预训练的 Wikidata-5M 知识嵌入。
  • OpenKE-Freebase
    • Freebase 是一个大型协作式知识库，主要由社区成员贡献数据组成。它是一个汇集了多源结构化数据的在线平台。Freebase 包含 86,054,151 个实体、14,824 种关系和 338,586,276 组三元组。
    • TransE 版本：由 OpenKE 预训练的 Freebase 知识嵌入。
  • OpenKE-XLORE
    • XLORE 是 THUKEG 开发的最受欢迎的中文知识图谱之一。XLORE 包含 10,572,209 个实体、138,581 种关系和 35,954,249 组三元组。
    • TransE 版本：由 OpenKE 预训练的 XLORE 知识嵌入。
• 应用：
  • Knowledge-Plugin
    • 一个高效且实用的即插即用知识注入工具包，适用于预训练的语言模型。Knowledge-Plugin 通用性强，可应用于上述各类知识图谱嵌入。在该工具包中，我们以将 Wikidata-5M 的 TransR 嵌入插入 BERT 为例，展示其应用效果。借助 TransR 嵌入，我们无需对原模型进行微调即可增强 BERT 的知识能力，例如在问答任务上提升高达 8%。

ERNIE 快速上手指南

ERNIE 是 OpenSKL 项目的子项目，旨在通过知识图谱表示来增强预训练语言模型。本指南将帮助你快速配置环境、下载模型并运行微调任务。

环境准备

在开始之前，请确保你的系统满足以下要求：

• 操作系统: Linux (推荐) 或 macOS (Windows 下解压可能存在问题)
• Python: Python 3
• 深度学习框架: PyTorch >= 0.4.1
• 混合精度训练 (可选): 若需使用 FP16 加速，需安装 apex，并确保 commit 版本为 79ad5a88e91434312b43b4a89d66226be5f2cc98。

依赖安装：

pip install tqdm boto3 requests
# 如需开启 fp16，请按需安装特定版本的 apex

安装与模型下载

ERNIE 提供了预训练好的模型权重和知识嵌入，建议直接下载使用，无需从头预训练。国内用户推荐使用清华云盘镜像加速下载。

1. 下载知识嵌入 (Knowledge Embedding)

# 使用清华云盘下载
wget https://cloud.tsinghua.edu.cn/f/229e8cccedc2419f987e/ -O kg_embed.tar.gz
tar -xvzf kg_embed.tar.gz

2. 下载预训练 ERNIE 模型

# 使用清华云盘下载
wget https://cloud.tsinghua.edu.cn/f/a763616323f946fd8ff6/ -O ernie_base.tar.gz
tar -xvzf ernie_base.tar.gz

3. 下载微调数据集 (含实体标注)

由于大多数数据集缺乏实体标注，项目提供了基于 TAGME 工具标注好的数据。

# 使用清华云盘下载
wget https://cloud.tsinghua.edu.cn/f/6ec98dbd931b4da9a7f0/ -O data.tar.gz
tar -xvzf data.tar.gz

基本使用

以下展示如何在 FewRel (关系分类) 和 FIGER (实体类型分类) 数据集上对 ERNIE 进行微调和评估。请确保在项目根目录下运行以下命令。

注意：示例命令开启了 --fp16 混合精度训练以加速，如未安装 apex 请移除该参数。

场景一：关系分类 (FewRel)

训练：

python3 code/run_fewrel.py   --do_train   --do_lower_case   --data_dir data/fewrel/   --ernie_model ernie_base   --max_seq_length 256   --train_batch_size 32   --learning_rate 2e-5   --num_train_epochs 10   --output_dir output_fewrel   --fp16   --loss_scale 128

评估：

python3 code/eval_fewrel.py   --do_eval   --do_lower_case   --data_dir data/fewrel/   --ernie_model ernie_base   --max_seq_length 256   --train_batch_size 32   --learning_rate 2e-5   --num_train_epochs 10   --output_dir output_fewrel   --fp16   --loss_scale 128

场景二：实体类型分类 (FIGER)

训练：

python3 code/run_typing.py    --do_train   --do_lower_case   --data_dir data/FIGER   --ernie_model ernie_base   --max_seq_length 256   --train_batch_size 2048   --learning_rate 2e-5   --num_train_epochs 3.0   --output_dir output_figer  --gradient_accumulation_steps 32 --threshold 0.3 --fp16 --loss_scale 128 --warmup_proportion 0.2

评估：

python3 code/eval_figer.py    --do_eval   --do_lower_case   --data_dir data/FIGER   --ernie_model ernie_base   --max_seq_length 256   --train_batch_size 2048   --learning_rate 2e-5   --num_train_epochs 3.0   --output_dir output_figer  --gradient_accumulation_steps 32 --threshold 0.3 --fp16 --loss_scale 128 --warmup_proportion 0.2

自定义新任务

若要在自己的数据上使用 ERNIE，需遵循以下步骤构建输入：

1. 使用实体链接工具（如 TAGME）提取文本中的实体提及。
2. 查找这些实体对应的 Wikidata ID。
3. 将文本序列和实体序列作为模型输入。

你可以参考官方提供的示例脚本 code/example.py 来了解如何自动标注并构建输入数据：

# 安装 tagme (如果尚未安装)
pip install tagme

# 运行示例 (首次加载模型约需 5 分钟)
python3 code/example.py

参数说明提示：

• --threshold: 用于设定实体链接的置信度阈值（通常为 0.3 或 0.4），低于此分数的标注将被过滤。
• 更多通用参数（如 learning_rate, batch_size 等）可参考 pytorch-pretrained-BERT 文档。