---

LUKE（Language Understanding with Knowledge-based Embeddings）是一种基于Transformer的新型预训练上下文词和实体表示模型。该模型在我们的论文 LUKE: 基于实体感知自注意力机制的深度上下文实体表示中提出。它在多项重要的自然语言处理基准测试中取得了当前最优性能，包括 SQuAD v1.1（抽取式问答）、 CoNLL-2003（命名实体识别）、 ReCoRD（完形填空式问答）、 TACRED（关系分类）以及 Open Entity（实体类型标注）。

本仓库包含用于预训练该模型及针对下游任务进行微调的源代码。

最新消息

2022年11月9日：LUKE-Japanese大模型现已发布

LUKE-Japanese大模型已在Hugging Face Model Hub上线：

• luke-japanese-large
• luke-japanese-large-lite

该模型在JGLUE中的三个数据集上均取得了当前最优成绩。

模型	MARC-ja	JSTS	JNLI	JCommonsenseQA
	acc	Pearson/Spearman	acc	acc
LUKE Japanese large	0.965	0.932/0.902	0.927	0.893
基线模型:
Tohoku BERT large	0.955	0.913/0.872	0.900	0.816
Waseda RoBERTa large (seq128)	0.954	0.930/0.896	0.924	0.907
Waseda RoBERTa large (seq512)	0.961	0.926/0.892	0.926	0.891
XLM RoBERTa large	0.964	0.918/0.884	0.919	0.840

2022年10月27日：LUKE的日语版本现已发布

LUKE的日语版本现已在Hugging Face Model Hub上线：

• luke-japanese-base
• luke-japanese-base-lite

该模型在JGLUE中的四个数据集上均优于其他基础尺寸模型。

模型	MARC-ja	JSTS	JNLI	JCommonsenseQA
	acc	Pearson/Spearman	acc	acc
LUKE Japanese base	0.965	0.916/0.877	0.912	0.842
基线模型:
Tohoku BERT base	0.958	0.909/0.868	0.899	0.808
NICT BERT base	0.958	0.910/0.871	0.902	0.823
Waseda RoBERTa base	0.962	0.913/0.873	0.895	0.840
XLM RoBERTa base	0.961	0.877/0.831	0.893	0.687

2022年4月13日：mLUKE微调代码现已发布

示例代码已更新，现基于 allennlp和 transformers。您可使用此实现复现LUKE和 mLUKE论文中的实验。详细信息请参阅各示例目录下的README.md文件。此前用于LUKE论文的旧版代码已被移至 examples/legacy。

2022年4月13日：LUKE模型预训练的详细说明现已发布

对于希望预训练LUKE模型的用户，我们已在pretraining.md中详细介绍了如何准备数据集以及运行预训练代码。

2021年11月24日：实体消歧义示例现已提供

本仓库新增了基于LUKE的实体消歧义示例代码。该模型最初在 我们的论文中提出，并在AIDA-CoNLL、MSNBC、AQUAINT、ACE2004和WNED-WIKI这五个标准实体消歧义数据集中取得了当前最优成绩。

更多详情请参阅 examples/entity_disambiguation。

2021年8月3日：基于Hugging Face Transformers和AllenNLP的新示例代码现已发布

LUKE新增了三个下游任务的微调示例，分别为_命名实体识别_、关系分类_和_实体类型标注。这些示例基于Hugging Face Transformers和AllenNLP开发，微调模型通过简单的AllenNLP Jsonnet配置文件定义！

示例代码可在examples中找到。

2021年5月5日：LUKE已加入Hugging Face Transformers库

LUKE已被添加到 Hugging Face Transformers库的主分支。现在您可以使用该库轻松解决与实体相关的任务（如命名实体识别、关系分类、实体类型标注等）。

例如，经过TACRED数据集微调的LUKE-large模型可以按如下方式使用：

from transformers import LukeTokenizer, LukeForEntityPairClassification
model = LukeForEntityPairClassification.from_pretrained("studio-ousia/luke-large-finetuned-tacred")
tokenizer = LukeTokenizer.from_pretrained("studio-ousia/luke-large-finetuned-tacred")
text = "碧昂丝住在洛杉矶。"
entity_spans = [(0, 7), (17, 28)]  # 分别对应“碧昂丝”和“洛杉矶”的字符级实体跨度
inputs = tokenizer(text, entity_spans=entity_spans, return_tensors="pt")
outputs = model(**inputs)
logits = outputs.logits
predicted_class_idx = int(logits[0].argmax())
print("预测类别:", model.config.id2label[predicted_class_idx])

# 预测类别：per:居住城市

我们还提供了以下三个 Colab 笔记本，展示了如何使用该库在 CoNLL-2003、TACRED 和 Open Entity 数据集上复现我们的实验结果：

• 使用 Hugging Face Transformers 复现 LUKE 在 CoNLL-2003 上的实验结果
• 使用 Hugging Face Transformers 复现 LUKE 在 TACRED 上的实验结果
• 使用 Hugging Face Transformers 复现 LUKE 在 Open Entity 上的实验结果

更多详细信息请参阅 官方文档。

2021年11月5日：LUKE-500K（base）模型

我们发布了 LUKE-500K（base），这是一个比现有的 LUKE-500K（large）更小的新预训练 LUKE 模型。LUKE-500K（base）和 LUKE-500K（large）在 SQuAD v1 和 CoNLL-2003 上的实验结果如下：

任务	数据集	指标	LUKE-500K（base）	LUKE-500K（large）
抽取式问答	SQuAD v1.1	EM/F1	86.1/92.3	90.2/95.4
命名实体识别	CoNLL-2003	F1	93.3	94.3

我们在基于 LUKE-500K（base）的实验中仅调整了批量大小和学习率。

与当前最先进方法的比较

LUKE 在五个重要的自然语言处理任务上均优于之前的最先进方法：

任务	数据集	指标	LUKE-500K（large）	之前的最先进方法
抽取式问答	SQuAD v1.1	EM/F1	90.2/95.4	89.9/95.1 (Yang et al., 2019)
命名实体识别	CoNLL-2003	F1	94.3	93.5 (Baevski et al., 2019)
Cloze 式问答	ReCoRD	EM/F1	90.6/91.2	83.1/83.7 (Li et al., 2019)
关系分类	TACRED	F1	72.7	72.0 (Wang et al., 2020)
细粒度实体类型标注	Open Entity	F1	78.2	77.6 (Wang et al., 2020)

这些数据均发表在 我们的 EMNLP 2020 论文中。

安装

可以使用 Poetry 安装 LUKE：

poetry install

# 如果要运行 LUKE 的预训练
poetry install --extras "pretraining opennlp"
# 如果要运行 mLUKE 的预训练
poetry install --extras "pretraining icu"

Poetry 自动创建的虚拟环境可以通过 poetry shell 激活。

关于安装 torch 的说明

通过 poetry install 安装的 PyTorch 可能并不完全匹配您的硬件配置。在这种情况下，请访问 官方站点，并使用 pip 命令重新安装适合您硬件的正确版本。

poetry run pip3 uninstall torch torchvision torchaudio
# 以 Linux 系统且配备 CUDA 11.3 为例
poetry run pip3 install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu113

发布的模型

我们的预训练模型可以与 transformers 库一起使用。模型文档可在以下链接中找到： LUKE 和 mLUKE。

目前，以下模型已在 Hugging Face Model Hub 上发布。

名称	model_name	实体词汇表大小	参数量
LUKE (base)	studio-ousia/luke-base	500K	253 M
LUKE (large)	studio-ousia/luke-large	500K	484 M
mLUKE (base)	studio-ousia/mluke-base	1.2M	586 M
mLUKE (large)	studio-ousia/mluke-large	1.2M	868 M
LUKE 日语版 (base)	studio-ousia/luke-japanese-base	570K	281 M
LUKE 日语版 (large)	studio-ousia/luke-japanese-large	570K	562 M

精简模型

实体嵌入会占用大量内存，因为它们包含了我们在预训练中使用的所有维基百科实体。然而，在一些下游任务中（例如实体类型标注、命名实体识别和关系分类），我们只需要特殊的实体嵌入，比如 [MASK]。此外，你可能只想使用词表示。

考虑到这些应用场景，为了使我们的模型更易于使用，我们上传了仅包含特殊实体嵌入的精简模型。这些模型的功能与完整模型完全相同，但参数量要少得多，因此可以在小型 GPU 上进行微调。

名称	模型名称	参数量
LUKE (base)	studio-ousia/luke-base-lite	1.25亿
LUKE (large)	studio-ousia/luke-large-lite	3.56亿
mLUKE (base)	studio-ousia/mluke-base-lite	2.79亿
mLUKE (large)	studio-ousia/mluke-large-lite	5.61亿
LUKE 日语 (base)	studio-ousia/luke-japanese-base-lite	1.34亿
LUKE 日语 (large)	studio-ousia/luke-japanese-large-lite	4.15亿

微调 LUKE 模型

我们基于 allennlp 和 transformers 发布了微调代码，位于 examples 目录下。你可以使用预定义的配置文件和 allennlp train 命令非常方便地运行微调实验。有关每个任务的详细信息和示例命令，请参阅 examples 下的任务目录。

预训练 LUKE 模型

预训练 LUKE 模型的详细说明可在 pretraining.md 中找到。

引用

如果你在工作中使用了 LUKE，请引用原始论文。

@inproceedings{yamada-etal-2020-luke,
    title = "{LUKE}: 基于实体感知自注意力的深度上下文化实体表示",
    author = "山田郁也 与 浅井明里 与 新藤博之 与 武田英明 与 松本裕二",
    booktitle = "2020 年自然语言处理经验方法会议 (EMNLP) 论文集",
    year = "2020",
    publisher = "计算语言学协会",
    url = "https://aclanthology.org/2020.emnlp-main.523",
    doi = "10.18653/v1/2020.emnlp-main.523",
}

对于 mLUKE，请引用这篇论文。

@inproceedings{ri-etal-2022-mluke,
    title = "m{LUKE}：多语言预训练语言模型中实体表示的力量",
    author = "李良宽 与 山田郁也 与 鹤冈义正",
    booktitle = "第 60 届计算语言学协会年会论文集（第一卷：长篇论文）",
    year = "2022",
    publisher = "计算语言学协会",
    url = "https://aclanthology.org/2022.acl-long.505",
}

LUKE 快速上手指南

LUKE (Language Understanding with Knowledge-based Embeddings) 是一种基于 Transformer 的预训练模型，专为单词和实体提供上下文表示。它在命名实体识别 (NER)、关系分类、实体类型判断等涉及实体的 NLP 任务中表现卓越。

环境准备

• 操作系统: Linux, macOS, Windows
• Python: 3.7 或更高版本
• 包管理工具: 推荐安装 Poetry 以管理依赖。
• 硬件: 如需进行微调或推理加速，建议配备 NVIDIA GPU 并安装对应的 CUDA 驱动。

安装步骤

1. 使用 Poetry 安装（推荐）

克隆仓库并安装基础依赖：

git clone https://github.com/studio-ousia/luke.git
cd luke
poetry install

激活虚拟环境：

poetry shell

2. 配置 PyTorch 版本

Poetry 默认安装的 PyTorch 可能不包含 CUDA 支持或不匹配您的硬件。请根据官方指引重新安装适配您环境的版本。

示例：Linux + CUDA 11.3

poetry run pip3 uninstall torch torchvision torchaudio
poetry run pip3 install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu113

国内加速提示：如果下载缓慢，可使用清华或阿里镜像源替换 --extra-index-url 或直接指定 -i 参数。 例如：poetry run pip3 install torch ... -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 直接使用 Hugging Face Transformers（无需克隆仓库）

如果您仅需使用预训练模型进行推理或微调，可直接安装 transformers 库：

pip install transformers
# 国内加速
pip install transformers -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

LUKE 已集成至 Hugging Face transformers 库。以下是一个最简单的实体对分类示例（基于 TACRED 数据集微调的模型）：

from transformers import LukeTokenizer, LukeForEntityPairClassification

# 加载模型和分词器
model = LukeForEntityPairClassification.from_pretrained("studio-ousia/luke-large-finetuned-tacred")
tokenizer = LukeTokenizer.from_pretrained("studio-ousia/luke-large-finetuned-tacred")

# 准备输入文本和实体跨度（字符索引）
text = "Beyoncé lives in Los Angeles."
entity_spans = [(0, 7), (17, 28)]  # 对应 "Beyoncé" 和 "Los Angeles"

# 编码并推理
inputs = tokenizer(text, entity_spans=entity_spans, return_tensors="pt")
outputs = model(**inputs)
logits = outputs.logits

# 获取预测结果
predicted_class_idx = int(logits[0].argmax())
print("Predicted class:", model.config.id2label[predicted_class_idx])
# 输出: Predicted class: per:cities_of_residence

可用模型

您可以在 Hugging Face Model Hub 找到更多预训练模型，包括：

• studio-ousia/luke-base (基础版)
• studio-ousia/luke-large (大型版)
• studio-ousia/luke-japanese-base (日语版)