基于深度强化学习的知识图谱推理

我们研究大规模知识图谱（KG）中的推理学习问题。具体而言，我们提出了一种新颖的强化学习框架，用于学习多跳关系路径：我们使用基于知识图谱嵌入的连续状态策略型智能体，在知识图谱的向量空间中通过采样最有前景的关系来扩展其路径。与先前工作不同，我们的方法引入了一个同时考虑准确性、多样性和效率的奖励函数。实验结果表明，在Freebase和永续语言学习数据集上，我们提出的方法优于基于路径排序的算法以及知识图谱嵌入方法。

数据集访问

下载知识图谱数据集 NELL-995 和 FB15k-237。

如何运行我们的代码

1. 解压数据文件，并将 data 文件夹放置在代码目录中。

2. 在 scripts/ 目录下运行以下脚本：

   • ./pathfinder.sh ${relation_name} # 寻找推理路径，这是强化学习训练过程，可能需要一些时间。
   • ./fact_prediction_eval.py ${relation_name} # 计算并打印事实预测结果。
   • ./link_prediction_eval.sh ${relation_name} # 计算并打印链接预测结果。

   示例（relation_name 可以在 NELL-995/tasks/ 中找到）：

   • ./pathfinder.sh concept_athletehomestadium
   • ./fact_prediction_eval.py concept_athletehomestadium
   • ./link_prediction_eval.sh concept_athletehomestadium

3. 由于我们已在数据集中提供了推理路径，您可以直接运行 fact_prediction_eval.py 或 link_prediction_eval.sh 来获取每个推理任务的最终结果。

数据集格式

1. raw.kb：来自 NELL 系统的原始知识图谱数据。
2. kb_env_rl.txt：我们在 raw.kb 中的所有三元组基础上添加了逆三元组，该文件用作推理用的知识图谱。
3. entity2vec.bern/relation2vec.bern：用于表示强化学习状态的 TransE 嵌入，可使用 thunlp 的 TransX 实现进行训练。
4. tasks/：每个任务对应一个特定的推理关系。
   • tasks/${relation}/*.vec：训练好的 TransH 嵌入。
   • tasks/${relation}/*.vec_D：训练好的 TransD 嵌入。
   • tasks/${relation}/*.bern：训练好的 TransR 嵌入。
   • tasks/${relation}/*.unif：训练好的 TransE 嵌入。
   • tasks/${relation}/transX：用于训练知识图谱嵌入的三元组。
   • tasks/${relation}/train.pairs：PRA 格式的训练三元组。
   • tasks/${relation}/test.pairs：PRA 格式的测试三元组。
   • tasks/${relation}/path_to_use.txt：强化学习智能体找到的推理路径。
   • tasks/${relation}/path_stats.txt：随机 BFS 的路径频率统计。

如果您使用我们的代码，请引用以下论文

@InProceedings{wenhan_emnlp2017,
  author    = {Xiong, Wenhan and Hoang, Thien and Wang, William Yang},
  title     = {DeepPath: A Reinforcement Learning Method for Knowledge Graph Reasoning},
  booktitle = {Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing (EMNLP 2017)},
  month     = {September},
  year      = {2017},
  address   = {Copenhagen, Denmark},
  publisher = {ACL}
}

致谢

• thunlp 的 TransX 实现
• Ni Lao 的 PRA 代码

DeepPath 快速上手指南

DeepPath 是一个基于深度强化学习（RL）的知识图谱推理框架，旨在通过多跳关系路径发现知识图谱中的潜在事实。本指南将帮助你快速部署并运行该工具。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 16.04+) 或 macOS
• Python 版本: Python 2.7 或 Python 3.x (根据脚本兼容性，建议优先尝试 Python 2.7 或检查脚本 Shebang)
• 核心依赖:
  • NumPy
  • SciPy
  • Scikit-learn
  • TensorFlow (旧版本，通常适用于 TF 1.x，具体视代码实现而定)
• 前置工具: unzip (用于解压数据集)

注意：由于该项目发表于 2017 年，其依赖的 TensorFlow 版本可能较旧。建议在虚拟环境（如 virtualenv 或 conda）中安装依赖，以避免冲突。

安装步骤

1. 获取代码与数据

克隆项目代码（假设你已获取源码目录），并下载官方提供的知识图谱数据集。

# 下载 NELL-995 数据集
wget http://cs.ucsb.edu/~xwhan/datasets/NELL-995.zip

# 或者下载 FB15k-237 数据集 (需 Google Drive 访问权限，国内用户可能需要代理)
# wget --load-cookies /tmp/cookies.txt "https://docs.google.com/uc?export=download&confirm=$(wget --quiet --save-cookies /tmp/cookies.txt --keep-session-cookies --no-check-certificate 'https://drive.google.com/file/d/1klWL11nW3ZS6b2MtLW0MHnXu-XlJqDyA/view?usp=sharing' -O- | sed -rn 's/.*confirm=([0-9A-Za-z_]+).*/\1\n/p')" -O FB15k-237.zip && rm -rf /tmp/cookies.txt

2. 配置数据目录

解压数据集并将其移动到代码根目录下。

unzip NELL-995.zip
# 确保解压后的文件夹名为 data 或直接位于代码目录中，根据 scripts 中的路径引用调整
# 通常结构应为：project_root/data/NELL-995/...

3. 安装 Python 依赖

在项目根目录下创建虚拟环境并安装必要的 Python 库。

pip install numpy scipy scikit-learn tensorflow==1.15.0
# 注：TensorFlow 版本需根据实际报错调整，早期 RL 项目常依赖 TF 1.x

基本使用

DeepPath 的核心流程包括：训练强化学习代理以寻找推理路径，然后评估事实预测或链接预测的效果。以下以 NELL-995 数据集中的 concept_athletehomestadium 关系为例。

步骤 1: 训练推理路径 (RL Training)

运行 pathfinder.sh 脚本启动强化学习训练。该过程会采样最有希望的关系来扩展路径，可能需要一定时间。

./scripts/pathfinder.sh concept_athletehomestadium

步骤 2: 评估事实预测 (Fact Prediction)

训练完成后（或直接使用数据集中预存的路径），运行评估脚本计算并打印事实预测结果。

python ./scripts/fact_prediction_eval.py concept_athletehomestadium

步骤 3: 评估链接预测 (Link Prediction)

运行链接预测评估脚本，计算相关指标。

./scripts/link_prediction_eval.sh concept_athletehomestadium

提示: 如果你仅想测试评估流程而不重新训练，可以直接跳过步骤 1，因为数据集中已包含预生成的推理路径 (tasks/${relation}/path_to_use.txt)，直接运行步骤 2 和 3 即可获得最终结果。

查看可用任务

所有可用的关系名称（relation_name）均存储在 NELL-995/tasks/ 目录下，你可以列出该目录查看其他可测试的任务：

ls NELL-995/tasks/