Awesome-LLM-KG

大型语言模型（LLMs）与知识图谱（KGs）融合相关论文及资源的集合。

大型语言模型（LLMs）在各类应用中取得了显著的成功和强大的泛化能力。然而，它们往往难以有效捕捉和利用事实性知识。知识图谱（KGs）是一种结构化的数据模型，能够显式地存储丰富的事实性知识。尽管如此，构建知识图谱仍然具有挑战性，且现有的方法在处理现实世界中不完整且动态变化的知识图谱方面存在不足。因此，将大型语言模型与知识图谱相结合，充分发挥两者的优势，成为一种自然的选择。

最新消息

🔭 本项目仍在开发中。您可以点击 STAR 和 WATCH 来关注最新进展。

• 我们很高兴发布了首个由图基础模型驱动的RAG管道（GFM-RAG），该管道结合了图神经网络与大型语言模型的力量，以增强推理能力。论文 和 代码。
• 我们的最新关于KG + LLM推理的工作：图约束推理：基于大型语言模型的知识图谱忠实推理 已被ICML 2025接收。
• 我们的用于时序知识图谱推理的LLM工作：大型语言模型引导的时序知识图谱动态适应推理 已被NeurIPS 2024接收！
• 我们的用于分析LLM推理的KG论文：利用知识图谱对多跳推理中的思维链进行直接评估 已被ACL 2024接收。
• 我们的路线图论文 已被TKDE接收。
• 我们的用于LLM探针的KG论文：大型语言模型中事实性知识的系统评估 已被EMNLP 2023接收。
• 我们的KG + LLM推理论文：图上的推理：忠实且可解释的大型语言模型推理 已被ICLR 2024接收。
• 我们的用于KG推理的LLM论文：ChatRule：利用大型语言模型挖掘逻辑规则以进行知识图谱推理 现已公开。
• 我们的路线图论文：统一大型语言模型与知识图谱：一份路线图 现已公开。

概述

在这个仓库中，我们收集了近年来大型语言模型与知识图谱融合领域的最新进展。我们提出了一份路线图，总结了三种通用框架：1) KG增强的LLMs、2) LLM增强的KGs以及3) 协同作用的LLMs + KGs。

我们还展示了相关的技术与应用。

我们希望这个仓库能够帮助研究人员和从业者更好地理解这一新兴领域。如果您觉得这个仓库对您有所帮助，请通过引用以下论文来支持我们：

@article{llm_kg,
title={Unifying Large Language Models and Knowledge Graphs: A Roadmap},
author={Pan, Shirui and Luo, Linhao and Wang, Yufei and Chen, Chen and Wang, Jiapu and Wu, Xindong},
journal={IEEE Transactions on Knowledge and Data Engineering (TKDE)},
year={2024}
}

目录

• Awesome-LLM-KG
  • 最新消息
  • 概述
  • 目录
  • 相关综述
  • KG增强的LLMs
    • KG增强的LLM预训练
    • KG增强的LLM推理
    • KG增强的LLM可解释性
  • LLM增强的KGs
    • LLM增强的KG嵌入
    • LLM增强的KG补全
    • LLM增强的KG到文本生成
    • LLM增强的KG问答
  • 协同作用的LLMs + KGs
    • 知识表示
    • 推理
  • 应用
    • 推荐
    • 故障分析

相关综述

• 统一大型语言模型与知识图谱：一份路线图（TKDE，2024年）[论文]
• 关于知识增强型预训练语言模型的综述（Arxiv，2023年）[论文]
• 预训练语言模型在知识密集型NLP中的应用综述（Arxiv，2022年）[论文]
• 将语言模型视为知识库的综述（Arxiv，2022年）[论文]
• 生成式知识图谱构建综述（EMNLP，2022年）[论文]
• 知识增强型预训练语言模型：全面综述（Arxiv，2021年）[论文]
• 不同类型知识图谱上的推理：静态、时序与多模态（Arxiv，2022年）[论文][代码]

KG增强的LLMs

基于知识图谱增强的预训练大语言模型

• ERNIE：融合结构化实体信息的语言表示（ACL，2019）[论文]
• 通过图引导的表示学习利用文本中的结构化知识（EMNLP，2019）[论文]
• SKEP：情感知识增强的情感分析预训练模型（ACL，2020）[论文]
• E-bert：面向电子商务的短语与商品知识增强语言模型（Arxiv，2020）[论文]
• 预训练百科全书：弱监督知识预训练语言模型（ICLR，2020）[论文]
• BERT-MK：将图上下文知识融入预训练语言模型（EMNLP，2020）[论文]
• K-BERT：基于知识图谱赋能语言表示（AAAI，2020）[论文]
• CoLAKE：上下文化的语言与知识嵌入（COLING，2020）[论文]
• Kepler：统一的知识嵌入与预训练语言表示模型（TACL，2021）[论文]
• K-Adapter：通过适配器将知识注入预训练模型（ACL Findings，2021）[论文]
• Cokebert：面向增强型预训练语言模型的上下文知识选择与嵌入（AI Open，2021）[论文]
• Ernie 3.0：大规模知识增强的语言理解与生成预训练模型（Arixv，2021）[论文]
• 使用确定性事实知识预训练语言模型（EMNLP，2022）[论文]
• Kala：知识增强的语言模型适配（NAACL，2022）[论文]
• DKPLM：面向自然语言理解的可分解知识增强预训练语言模型（AAAI，2022）[论文]
• Dict-BERT：借助词典增强语言模型预训练（ACL Findings，2022）[论文]
• JAKET：知识图谱与语言理解的联合预训练（AAAI，2022）[论文]
• 面向故障分析的远程知识预训练（ICDE，2023）[论文]

基于知识图谱增强的大语言模型推理

• 巴拉克的妻子希拉里：利用知识图谱进行事实感知的语言建模（ACL，2019）[论文]
• 面向知识密集型NLP任务的检索增强生成（NeurIPS，2020）[论文]
• Realm：检索增强语言模型预训练（ICML，2020）[论文]
• QA-GNN：结合语言模型和知识图谱进行问答推理（NAACL，2021）[论文]
• 面向长篇故事中显著性推断的记忆与知识增强语言模型（EMNLP，2021）[论文]
• JointLK：结合语言模型和知识图谱进行常识性问题解答的联合推理（NAACL，2022）[论文]
• 通过动态文档驱动的知识图谱提升大语言模型的故事理解能力（AAAI，2022）[论文]
• Greaselm：图推理增强的语言模型（ICLR，2022）[论文]
• 面向知识密集型NLP任务的高效记忆增强Transformer（EMNLP，2022）[论文]
• 面向零样本知识图谱问答的知识增强语言模型提示（NLRSE@ACL，2023）[论文]
• 在动态环境中集成知识图谱的大语言模型多跳问答（EMNLP Findings，2024）[论文]

基于知识图谱增强的大语言模型可解释性

• 语言模型作为知识库（EMNLP，2019）[论文]
• Kagnet：面向常识推理的知识感知图网络（Arxiv，2019）[论文]
• Autoprompt：利用自动生成的提示从语言模型中提取知识（EMNLP，2020）[论文]
• 我们如何知道语言模型知道什么？（ACL，2020）[论文]
• 预训练Transformer中的知识神经元（ACL，2021）[论文]
• 语言模型能否成为生物医学知识库？（EMNLP，2021）[论文]
• 通过知识图谱抽取解释语言模型（Arxiv，2021）[论文]
• QA-GNN：结合语言模型和知识图谱进行问答推理（ACL，2021）[论文]
• 如何查询语言模型？（Arxiv，2021）[论文]
• 重连后探测：一种对比性的方法来探查预训练语言模型的生物医学知识（Arxiv，2021）[论文]
• 何时不应信任语言模型：探究参数化与非参数化记忆的有效性与局限性（Arxiv，2022）[论文]
• 预训练语言模型如何捕捉事实知识？一种因果启发式的分析（Arxiv，2022）[论文]
• 知识图谱能否简化文本？（CIKM，2023）[论文]

大语言模型增强的知识图谱

大语言模型增强的知识图谱嵌入

• 基于大语言模型噪声标注的实体对齐（NeurIPS，2024）[论文]
• LambdaKG：基于预训练语言模型的知识图谱嵌入库（Arxiv，2023）[论文]
• 在超复数空间中整合知识图谱嵌入与预训练语言模型（Arxiv，2022）[论文]
• 为语言模型赋予多模态知识图谱表示（Arxiv，2022）[论文]
• 语言模型引导的知识图谱嵌入（IEEE Access，2022）[论文]
• 语言模型作为知识嵌入（IJCAI，2022）[论文]
• Pretrain-KGE：从预训练语言模型中学习知识表示（EMNLP，2020）[论文]
• KEPLER：知识嵌入与预训练语言表示的统一模型（TACL，2020）[论文]

大语言模型增强的知识图谱补全

• 利用大语言模型实现知识图谱补全的多视角改进（COLING 2024）[论文] [代码]
• KG-BERT：用于知识图谱补全的BERT（Arxiv，2019）[论文]
• 基于预训练语言模型的知识图谱补全的多任务学习（COLING，2020）[论文]
• 预训练模型是否有助于知识图谱补全？一项可靠的评估与合理的方法（ACL，2022）[论文]
• 知识图谱补全中的联合语言语义与结构嵌入（COLING，2022）[论文]
• MEM-KGC：基于掩码实体模型的预训练语言模型知识图谱补全（IEEE Access，2021）[论文]
• 通过统一学习方法利用预训练语言模型扩展知识图谱（Knowl. Based Syst.，2023）[论文]
• 结构增强的文本表示学习用于高效知识图谱补全（WWW，2021）[论文]
• Simkgc：基于预训练语言模型的简单对比式知识图谱补全（ACL，2022）[论文]
• Lp-bert：用于链接预测的多任务预训练知识图谱BERT（Arxiv，2022）[论文]
• 从判别到生成：基于生成式Transformer的知识图谱补全（WWW，2022）[论文]
• 序列到序列的知识图谱补全与问答（ACL，2022）[论文]
• 知识是扁平的：一种适用于多种知识图谱补全任务的seq2seq生成框架（COLING，2022）[论文]
• 适配预训练语言模型用于知识图谱补全的框架（EMNLP，2022）[论文]
• 浸泡PLMs酱汁：通过条件性软提示桥接结构与文本以实现有效知识图谱补全（ACL，2023）[论文]

大语言模型增强的知识图谱到文本生成

• GenWiki：包含130万条内容共享文本和图谱的无监督图谱到文本生成数据集（COLING，2020）[论文]
• KGPT：面向数据到文本生成的知识图谱基础预训练（EMNLP 2020）[论文]
• JointGT：面向知识图谱文本生成的图-文联合表示学习（ACL Findings，2021）[论文]
• 探讨预训练语言模型在图谱到文本生成中的应用（NLP4ConvAI，2021）[论文]
• 基于预训练语言模型的少样本知识图谱到文本生成（ACL，2021）[论文]
• EventNarrative：大规模事件驱动型知识图谱到文本生成数据集（Neurips，2021）[论文]
• GAP：面向知识图谱到文本生成的图感知语言模型框架（COLING，2022）[论文]

大语言模型增强的知识图谱问答

• UniKGQA：面向知识图谱上多跳问答的统一检索与推理（ICLR，2023）[论文]
• StructGPT：大型语言模型处理结构化数据的一般框架（Arxiv，2023）[论文]
• GPT-3在少样本知识基问答中的实证研究（AAAI，2022）[论文]
• 预训练语言模型在简单知识图谱问答中的实证研究（World Wide Web Journal，2023）[论文]
• 通过知识图谱推理增强语言模型以支持开放域问答（EMNLP，2022）[论文]
• DRLK：结合语言模型与知识图谱的动态层次推理问答（EMNLP，2022）[论文]
• 子图检索增强模型用于多跳知识库问答（ACL，2022）[论文]
• GREASELM：面向问答的图推理增强语言模型（ICLR，2022）[论文]
• LaKo：基于知识驱动的视觉问答，通过后期知识到文本注入实现（IJCKG，2022）[论文]
• QA-GNN：结合语言模型与知识图谱进行问答推理（NAACL，2021）[论文]

大语言模型与知识图谱协同

知识表示

• 用于故障分析的远程知识预训练（ICDE，2023）[论文]
• 将领域特定的异构知识融入统一表示的语言模型预训练（Expert Systems with Applications，2023）[论文]
• 深度双向语言-知识图谱预训练（NIPS，2022）[论文]
• KEPLER：知识嵌入与预训练语言表示的统一模型（TACL，2021）[论文]
• JointGT：基于知识图谱的文本生成中图-文联合表示学习（ACL 2021）[论文]

推理

• 用于提升领域特定自然语言处理任务的统一知识图谱增强服务（Arxiv，2023）[论文]
• 面向复杂推理的结构推理与语言模型预训练统一方法（Arxiv，2023）[论文]
• 基于大型语言模型的知识图谱复杂逻辑推理（Arxiv，2023）[论文]

应用

推荐系统

• RecInDial：基于预训练语言模型的对话式推荐统一框架（Arxiv，2023）[论文]

故障分析

• 用于故障分析的远程知识预训练（ICDE，2023）[论文]

Awesome-LLM-KG 快速上手指南

Awesome-LLM-KG 并非一个可直接安装的单一软件包或库，而是一个精选的资源集合仓库。它整理了关于“大语言模型（LLM）”与“知识图谱（KG）”融合的最新论文、代码实现和技术路线图。

本指南将帮助你如何利用该仓库进行学术研究、技术选型及代码复现。

1. 环境准备

由于本仓库主要包含文献列表和指向各个独立项目的链接，你只需要基础的开发环境即可浏览资源。若需运行仓库中提及的具体算法（如 GFM-RAG, ChatRule 等），则需根据具体论文的 requirements.txt 配置环境。

系统要求

• 操作系统: Linux (推荐), macOS, Windows
• Python: 3.8+ (具体版本视目标子项目而定)
• Git: 用于克隆仓库

前置依赖

• 浏览器: 用于查看整理好的 Markdown 文档和论文链接。
• 深度学习框架: 如需运行代码，通常需安装 PyTorch 或 TensorFlow，以及 Transformers, DGL/PyG (图神经网络库) 等。

2. 安装步骤（获取资源）

克隆仓库到本地以获取最新的论文列表、代码链接和技术路线图。

# 克隆仓库
git clone https://github.com/RManLuo/Awesome-LLM-KG.git

# 进入目录
cd Awesome-LLM-KG

国内加速建议： 如果直接克隆速度较慢，可使用国内镜像源（如 Gitee 镜像，若有）或配置 Git 代理：

# 临时配置 HTTP 代理 (请替换为你的代理地址)
export http_proxy=http://127.0.0.1:7890
export https_proxy=http://127.0.0.1:7890
git clone https://github.com/RManLuo/Awesome-LLM-KG.git

3. 基本使用

本仓库的核心价值在于其分类清晰的技术路线图和论文索引。以下是三种主要使用方式：

方式一：浏览技术路线与论文

直接在本地或 GitHub 页面阅读 README.md。仓库将 LLM 与 KG 的结合分为三大框架，你可以根据研究兴趣查找对应论文：

1. KG-enhanced LLMs (KG 增强的 LLM)
   • 利用 KG 提升 LLM 的预训练、推理能力或可解释性。
   • 适用场景: 事实性问答、减少幻觉、领域适配。
2. LLM-augmented KGs (LLM 增强的 KG)
   • 利用 LLM 辅助 KG 的嵌入表示、补全、生成或问答。
   • 适用场景: 自动化构建图谱、图谱补全、自然语言交互查询。
3. Synergized LLMs + KGs (LLM 与 KG 协同)
   • 两者深度结合，共同进行知识表示与推理。
   • 适用场景: 复杂多跳推理、动态时序图谱分析。

方式二：复现特定项目

仓库中的每条记录都附带了 [paper] (论文) 和 [code] (代码) 链接。以仓库推荐的 GFM-RAG (图基础模型驱动的 RAG) 为例：

1. 在 "News" 或列表中点击对应项目的 Code 链接跳转至子项目仓库。
2. 进入子项目后，按照其独立的 README 进行安装和运行。例如：

   # 示例：假设已进入 gfm-rag 子项目目录
   pip install -r requirements.txt
   python run.py --config config.yaml
   

方式三：引用与追踪

如果你在该领域的研究中受益于此资源列表，请在你的论文中引用其核心综述文章：

@article{llm_kg,
  title={Unifying Large Language Models and Knowledge Graphs: A Roadmap},
  author={Pan, Shirui and Luo, Linhao and Wang, Yufei and Chen, Chen and Wang, Jiapu and Wu, Xindong},
  journal={IEEE Transactions on Knowledge and Data Engineering (TKDE)},
  year={2024}
}

提示：点击仓库顶部的 STAR 和 WATCH 按钮，以便在 GitHub 上接收该项目关于新论文和新代码更新的通知。