目录	描述
research	• 提示学习相关的研究模型实现合集
lambdaKG	• 基于预训练语言模型的知识图谱嵌入及应用库
deltaKG	• 动态编辑基于PLM的知识图谱嵌入的库
tutorial-notebooks	• 面向初学者的教程笔记本

目录

• 教程
• 综述
• 论文
  • 知识作为提示
    • 1. 语言理解
    • 2. 多模态
    • 3. 高级任务
  • 用于知识的提示（PLMs）
    • 1. 知识探测
    • 2. 知识图谱嵌入
    • 3. 分析
• 联系方式

教程

• 使用预训练语言模型进行零样本和少样本NLP。AACL 2022教程 [ppt]
• 数据高效的知识图谱构建。CCKS2022教程 [ppt]
• 高效且鲁棒的知识图谱构建。AACL-IJCNLP教程 [ppt]
• 知识驱动的提示学习。MLNLP 2022教程（中文） [ppt]

综述

• Delta调优：预训练语言模型参数高效方法的全面研究 (arXiv 2021) [论文]
• 预训练、提示与预测：自然语言处理中提示方法的系统性综述 (ACM Computing Surveys 2021) [论文]
• 再结构化预训练 (arXiv 2022) [论文]
• 基于预训练语言模型的知识密集型NLP综述 (arXiv 2022) [论文]
• 知识增强型预训练语言模型综述 (arXiv 2022) [论文]
• 语言模型作为知识库的回顾 (arXiv 2022) [论文]
• 生成式知识图谱构建：综述 (EMNLP, 2022) [论文]
• 基于语言模型提示的推理：综述 (arXiv 2022) [论文]
• 不同类型知识图谱上的推理：静态、时序和多模态 (arXiv 2022) [论文]
• 大型语言模型中知识的生命周期：综述 (arXiv 2022) [论文]
• 统一大型语言模型与知识图谱：路线图 (arXiv 2023) [论文]

论文

知识作为提示

语言理解

• 面向知识密集型 NLP 任务的检索增强生成，发表于 NeurIPS 2020。[pdf]
• REALM：用于预训练的检索增强语言模型，发表于 ICML 2020。[pdf]
• 使预训练语言模型成为更好的少样本学习者，发表于 ACL 2022。[pdf]
• PTR：用于文本分类的基于规则的提示调优，发表于 OpenAI 2022。[pdf]
• 标签表述与蕴含关系在高效零样本和少样本关系抽取中的应用，发表于 EMNLP 2021。[pdf]
• RelationPrompt：利用提示生成合成数据以进行零样本关系三元组抽取，发表于 EMNLP 2022（成果）。[pdf]
• 知识型提示调优：将知识融入提示表述器以进行文本分类，发表于 ACL 2022。[pdf]
• PPT：面向少样本学习的预训练提示调优，发表于 ACL 2022。[pdf]
• 预训练语言模型的对比演示调优，发表于 EMNLP 2022（成果）。[pdf]
• AdaPrompt：基于提示的 NLP 自适应模型训练，发表于 arxiv 2022。[pdf]
• KnowPrompt：具有协同优化的关系抽取知识感知提示调优，发表于 WWW 2022。[pdf]
• 基于模式的参考提示提升数据高效的知识图谱构建，发表于 SIGIR 2023。[pdf]
• 将知识与记忆解耦：检索增强提示学习，发表于 NeurIPS 2022。[pdf]
• 关系抽取作为开卷考试：检索增强提示调优，发表于 SIGIR 2022。[pdf]
• LightNER：通过可插拔提示实现低资源 NER 的轻量级调优范式，发表于 COLING 2022。[pdf]
• 面向通用信息抽取的统一结构生成，发表于 ACL 2022。[pdf]
• LasUIE：利用潜在自适应结构感知生成式语言模型统一信息抽取，发表于 NeurIPS 2022。[pdf]
• Atlas：使用检索增强语言模型进行少样本学习，发表于 Arxiv 2022。[pdf]
• 不要提示，去检索！基于挖掘的零样本学习与语言模型，发表于 ACL 2022。[pdf]
• 预训练语言模型中的知识提示用于自然语言理解，发表于 EMNLP 2022。[pdf]
• 面向客户服务对话的统一知识提示预训练，发表于 CIKM 2022。[pdf]
• 预训练语言模型中的知识提示用于自然语言理解，发表于 EMNLP 2022。[pdf]
• SELF-INSTRUCT：使语言模型与自我生成的指令对齐，发表于 arxiv 2022。[pdf]
• 一个嵌入器，适用于任何任务：指令微调的文本嵌入，发表于 arxiv 2022。[pdf]
• 学习为上下文学习检索提示，发表于 NAACL 2022。[pdf]
• 训练数据比你想象的更有价值：一种简单有效的从训练数据中检索的方法，发表于 ACL 2022。[pdf]
• 一个模型适用于所有领域：跨领域 NER 的协作式领域前缀调优，发表于 Arxiv 2023。[pdf]
• REPLUG：检索增强黑盒语言模型，发表于 Arxiv 2023。[pdf]
• 面向零样本知识图谱问答的知识增强语言模型提示，发表于 Arxiv 2023。[pdf]

多模态

• 良好的视觉引导使抽取器更出色：面向多模态实体与关系抽取的层次化视觉前缀，发表于 NAACL 2022（成果）。[pdf]
• 视觉提示调优，发表于 ECCV 2022。[pdf]
• CPT：面向预训练视觉-语言模型的彩色提示调优，发表于 EMNLP 2022。[pdf]
• 学习为视觉-语言模型提示，发表于 IJCV 2022。[pdf]
• 视觉-语言模型中的测试时提示调优以实现零样本泛化，发表于 NeurIPS 2022。[pdf]

高级任务

• 推荐即语言处理（RLP）：统一预训练、个性化提示与预测范式（P5），发表于 ACM RecSys 2022。[pdf]
• 通过知识增强提示学习迈向统一的对话式推荐系统，发表于 KDD 2022。[pdf]
• PromptEM：面向低资源通用实体匹配的提示调优，发表于 VLDB 2023。[pdf]
• VIMA：利用多模态提示进行通用机器人操作，发表于 Arxiv 2022。[pdf]
• 使用断连提示消除逆合成语言模型的偏见，发表于 Arxiv 2022。[pdf]
• ProgPrompt：利用大型语言模型生成情境化的机器人任务计划，发表于 Arxiv 2022。[pdf]
• 与语言模型协作进行具身推理，发表于 NeurIPS 2022 Workshop LaReL。[pdf]

知识相关的提示（PLMs）

知识探针

• 语言模型的参数中能容纳多少知识？发表于EMNLP 2020。[pdf]
• 语言模型能否作为知识库？发表于EMNLP 2019。[pdf]
• 从常识Transformer中提取的知识库，发表于CSRR 2022。[pdf]
• 具有时序感知的语言模型作为时间知识库，发表于TACL 2022。[pdf]
• 生成式预训练语言模型能否作为闭卷问答的知识库？发表于ACL 2021。[pdf]
• 语言模型作为知识库：关于实体表示、存储容量和同义查询，发表于EACL 2021。[pdf]
• 面向生物医学知识图谱补全的科学语言模型：一项实证研究，发表于AKBC 2021。[pdf]
• 多语言LAMA：探究多语言预训练语言模型中的知识，发表于EACL 2021。[pdf]
• 我们如何知道语言模型掌握了什么？发表于TACL 2020。[pdf]
• 上下文如何影响语言模型的事实性预测，发表于AKBC 2020。[pdf]
• COPEN：探测预训练语言模型中的概念知识，发表于EMNLP 2022。[pdf]
• 从预训练语言模型中探查明喻知识，发表于ACL 2022。[pdf]

知识图谱嵌入（我们提供了一个库和基准测试lambdaKG）

• KG-BERT：用于知识图谱补全的BERT，发表于Arxiv 2020。[pdf]
• 基于预训练语言模型的知识图谱补全的多任务学习，发表于Coling 2020。[pdf]
• 面向高效知识图谱补全的结构增强文本表示学习，发表于WWW 2021。[pdf]
• KEPLER：一种统一的知识嵌入与预训练语言表示模型，TACL 2021 [pdf]
• StATIK：面向归纳式知识图谱的结构与文本，发表于NAACL 2022。[pdf]
• 面向知识图谱补全的语言语义与结构联合嵌入，发表于COLING。[pdf]
• 知识是扁平的：一种用于多种知识图谱补全的Seq2Seq生成框架，发表于COLING。[pdf]
• 预训练模型是否有助于知识图谱补全？可靠的评估与合理的方法，发表于ACL 2022。[pdf]
• 语言模型作为知识嵌入，发表于IJCAI 2022。[pdf]
• 从判别到生成：基于生成式Transformer的知识图谱补全，发表于WWW 2022。[pdf]
• 通过记忆进行推理：最近邻知识图谱嵌入，发表于Arxiv 2022。[pdf]
• SimKGC：使用预训练语言模型的简单对比式知识图谱补全，发表于ACL 2022。[pdf]
• 序列到序列的知识图谱补全与问答，发表于ACL 2022。[pdf]
• LP-BERT：用于链接预测的多任务预训练知识图谱BERT，发表于Arxiv 2022。[pdf]
• 掩码与推理：面向复杂逻辑查询的预训练知识图谱Transformer，发表于KDD 2022。[pdf]
• 知识是扁平的：一种用于多种知识图谱补全的Seq2Seq生成框架，发表于Coling 2022。[pdf]

分析

• 博学还是凭经验猜测？重新审视语言模型作为知识库，发表于ACL 2021。[pdf]
• 提示能否探查预训练语言模型？从因果视角理解潜在风险，发表于ACL 2022。[pdf]
• 预训练语言模型如何捕捉事实性知识？一种受因果启发的分析，发表于ACL 2022。[pdf]
• 大型语言模型的涌现能力，发表于Arxiv 2022。[pdf]
• 预训练Transformer中的知识神经元，发表于ACL 2022。[pdf]
• 在基于预训练Transformer的语言模型中寻找技能神经元，发表于EMNLP 2022。[pdf]
• 提示能否利用自然语言解决NLP任务？发表于Arxiv 2022。[pdf]
• 重新思考演示的作用：上下文学习为何有效？发表于EMNLP 2022。[pdf]
• 基于提示的模型是否真正理解其提示的含义？发表于NAACL 2022。[pdf]
• 何时不应信任语言模型：探讨参数化与非参数化记忆的有效性与局限性，发表于arxiv 2022。[pdf]
• GPT为何能在上下文中学习？语言模型暗中以元优化器的身份执行梯度下降，发表于arxiv 2022。[pdf]
• 极具秩序感的提示及其寻找方法：克服少样本提示顺序敏感性，发表于ACL 2022。[pdf]
• 大型语言模型的编辑：问题、方法与机遇，发表于arxiv 2023。[pdf]

联系方式

如在使用工具时遇到任何问题或需要帮助，请提交GitHub问题。

PromptKG 快速上手指南

PromptKG 是一个专注于提示学习（Prompt Learning）与知识图谱（KG）相关研究的开源工具集。它包含了基于预训练语言模型（PLM）的知识图谱嵌入库、动态编辑库以及相关研究模型的实现。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux / macOS / Windows
• Python 版本：建议 Python 3.7 或更高版本
• 前置依赖：
  • PyTorch (推荐最新稳定版)
  • Transformers (Hugging Face)
  • NumPy, Pandas 等基础数据科学库

提示：建议使用 conda 创建独立的虚拟环境以避免依赖冲突。

conda create -n promptkg python=3.8
conda activate promptkg

安装步骤

由于 PromptKG 是一个包含多个子模块的研究集合，您可以根据需求选择安装整个项目或特定模块。

1. 克隆仓库

git clone https://github.com/zjunlp/PromptKG.git
cd PromptKG

2. 安装依赖

根据您想要使用的具体模块，进入相应目录安装依赖。以下是核心模块的安装方式：

通用依赖安装（推荐先执行）：

pip install -r requirements.txt

若需使用 lambdaKG (基于 PLM 的 KG 嵌入库)：

cd lambdaKG
pip install -e .

若需使用 deltaKG (动态编辑 PLM-based KG 嵌入库)：

cd deltaKG
pip install -e .

国内加速建议：如果下载依赖较慢，可使用清华源或阿里源加速： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

PromptKG 的核心价值在于其提供的教程笔记（Tutorial Notebooks）和具体的模型实现。以下以使用 lambdaKG 进行简单的知识图谱嵌入为例展示基本流程。

1. 查看教程笔记

对于初学者，最快速的入门方式是运行官方提供的 Jupyter Notebook 教程：

# 进入教程目录
cd tutorial-notebooks

# 启动 Jupyter Notebook
jupyter notebook

在浏览器中打开对应的 .ipynb 文件，按照步骤逐步执行代码。

2. 代码示例：使用 lambdaKG 进行嵌入

假设您已安装 lambdaKG，以下是一个简化的 Python 调用示例，展示如何加载模型并进行推理：

import torch
from lambdalg.models import KGBERT # 示例模型，具体类名请参考 lambdaKG 文档

# 1. 初始化模型
# 注意：具体参数需根据实际数据集和模型配置调整
model = KGBERT.from_pretrained('bert-base-uncased')

# 2. 准备输入数据 (头实体, 关系, 尾实体)
# 这里仅为伪代码示意，实际输入需符合模型要求的 Tokenizer 格式
head_entity = "Paris"
relation = "capital of"
tail_entity = "France"

# 3. 前向传播计算得分或嵌入
# inputs = tokenizer(head_entity, relation, tail_entity, return_tensors="pt")
# outputs = model(**inputs)

# 4. 获取结果
# print(outputs.logits)

3. 探索研究模型实现

如果您希望复现特定的 SOTA 论文模型，可以浏览 research 目录：

ls research/

该目录下包含了多种提示学习与知识图谱结合的经典模型实现（如 KnowPrompt, PPT 等）。您可以直接进入对应子文件夹，参照其中的 README.md 或 train.py 脚本进行训练和评估。

---

更多资源：

• 论文列表：参考根目录下的 Papers 章节，获取最新的 Prompt + KG 相关文献。
• 综述文章：参考 Surveys 章节，深入了解提示学习和知识图谱融合的理论基础。