图上推理 (RoG)

“图上推理：忠实且可解释的大语言模型推理”（arxiv.org/abs/2310.01061）的官方实现。

图上推理 (RoG) 将大语言模型与知识图谱相结合，实现忠实且可解释的推理。我们提出了一种规划-检索-推理框架：首先，RoG基于知识图谱生成具有事实依据的关系路径作为忠实的规划；随后，这些规划被用于从知识图谱中检索有效的推理路径，供大语言模型进行忠实推理并生成可解释的结果。

新闻 🎉

• 请查看首个由图基础模型驱动的 RAG 流水线 (GFM-RAG)，它结合了 GNN 和知识图谱的强大能力与大语言模型，以增强推理性能。论文
• 欢迎了解我们在知识图谱与大语言模型推理方面的最新工作：图约束推理

环境要求

pip install -r requirements.txt

预训练权重

我们的代码会自动从 Hugging Face 下载模型权重。

您可以在 这里 找到预训练权重。

数据集

我们的代码会自动从 Hugging Face 下载数据。

RoG-WebQSP
RoG-CWQ

推理

硬件要求：任何至少拥有 12GB 显存的 GPU。

步骤1：规划（生成关系路径）

运行：./scripts/planning.sh

python src/qa_prediction/gen_rule_path.py \
        --model_name RoG \
        --model_path rmanluo/RoG \
        -d {RoG-webqsp,RoG-cwq} \
        --split test \
        --n_beam 3

生成的规则将保存至：results/gen_rule_path/{dataset}/{model_name}/{split}

步骤2：推理（使用 RoG 生成答案）

运行：./scripts/rog-reasoning.sh

python src/qa_prediction/predict_answer.py \
        --model_name RoG \
        --model_path rmanluo/RoG \
        -d {RoG-webqsp,RoG-cwq} \
        --prompt_path prompts/llama2_predict.txt \
        --add_rul \
        --rule_path {rule_path}

答案将保存至：results/KGQA/{dataset}/{model_name}/{split}

即插即用式推理（使用不同大语言模型生成答案）

注意：需在 .env 文件中设置您的 OpenAI API 密钥，才能使用 ChatGPT。

运行：./scripts/plug-and-play.sh

python src/qa_prediction/predict_answer.py \
        --model_name {gpt-3.5-turbo,alpaca,llama2-chat-hf,flan-t5} \
        -d {RoG-webqsp,RoG-cwq} \
        --prompt_path {prompt_path} \
        --add_rule \
        --rule_path {rule_path}

可解释性推理

运行：python scripts/interpretable_example.py

from transformers import pipeline, AutoTokenizer
import torch

MODEL_PATH_OR_NAME="rmanluo/RoG"

tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH_OR_NAME, use_fast=False)
model = pipeline("text-generation", model=MODEL_PATH_OR_NAME, tokenizer=tokenizer, device_map="auto", torch_dtype=torch.float16)

print("====EXAMPLE 1: ====")

INPUT_TEXT_1 = """根据推理路径，请回答给定的问题，并说明理由。

推理路径：
北区 -> location.administrative_division.first_level_division_of -> 以色列 -> government.form_of_government.countries -> 议会制

问题：
北区所在的国家采用哪种政体？"""

outputs = model(INPUT_TEXT_1, return_full_text=False)
print(outputs[0]['generated_text'])

训练

训练数据集

您可以从 RoG_train_data.tar.tz 下载处理好的数据集。解压文件后将其放入 datasets/ 文件夹中。

python src/align_kg/build_align_qa_dataset.py -d {RoG-webqsp,RoG-cwq} --split {train,validation,test}

python src/joint_training/preprocess_align.py
python src/joint_training/preprocess_qa.py

python src/joint_training/generate_explanation_results.py

训练 RoG

训练 RoG 需要 2 张 A100-80GB 的 GPU。

运行：./scripts/train.sh

结果

参考文献

如果您觉得本仓库有所帮助，请通过引用以下论文支持我们：

@inproceedings{luo2024rog,
title={Reasoning on Graphs: Faithful and Interpretable Large Language Model Reasoning},
author={Luo, Linhao and Li, Yuan-Fang and Haffari, Gholamreza and Pan, Shirui},
booktitle={International Conference on Learning Representations},
  year={2024}
}

Reasoning on Graphs (RoG) 快速上手指南

Reasoning on Graphs (RoG) 是一个将大语言模型（LLM）与知识图谱（KG）相结合的工具，旨在实现忠实且可解释的推理。它通过“规划 - 检索 - 推理”框架，首先生成基于知识图谱的关系路径作为规划，然后检索有效的推理路径供 LLM 进行推理并生成结果。

环境准备

系统要求

• GPU: 推理至少需要显存 12GB 的 GPU；训练则需要 2 张 A100-80GB GPU。
• Python: 建议使用 Python 3.8 或更高版本。
• 操作系统: Linux 推荐（Windows 可能需要额外配置）。

前置依赖

确保已安装 pip 和 git。若需加速下载模型和数据，建议配置 Hugging Face 镜像源（可选）：

export HF_ENDPOINT=https://hf-mirror.com

安装步骤

1. 克隆仓库（如果尚未克隆）：

   git clone https://github.com/RManLuo/reasoning-on-graphs.git
   cd reasoning-on-graphs
   

2. 安装 Python 依赖：

   pip install -r requirements.txt
   

   注：代码运行时会自动从 Hugging Face 下载预训练权重和数据集，无需手动下载。

基本使用

以下是最简单的推理流程示例，包含“规划”和“推理”两个核心步骤。

第一步：规划（生成关系路径）

此步骤生成基于知识图谱的忠实规划路径。以 RoG-webqsp 数据集为例：

python src/qa_prediction/gen_rule_path.py \
        --model_name RoG \
        --model_path rmanluo/RoG \
        -d RoG-webqsp \
        --split test \
        --n_beam 3

生成的规则将保存在：results/gen_rule_path/RoG-webqsp/RoG/test

第二步：推理（生成答案）

利用上一步生成的规则路径进行问答推理：

python src/qa_prediction/predict_answer.py \
        --model_name RoG \
        --model_path rmanluo/RoG \
        -d RoG-webqsp \
        --prompt_path prompts/llama2_predict.txt \
        --add_rul \
        --rule_path results/gen_rule_path/RoG-webqsp/RoG/test

生成的答案将保存在：results/KGQA/RoG-webqsp/RoG/test

进阶：可解释性推理示例

你可以直接使用 Python 代码测试单个样本的可解释性推理过程：

from transformers import pipeline, AutoTokenizer
import torch

MODEL_PATH_OR_NAME="rmanluo/RoG"

tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH_OR_NAME, use_fast=False)
model = pipeline("text-generation", model=MODEL_PATH_OR_NAME, tokenizer=tokenizer, device_map="auto", torch_dtype=torch.float16)

INPUT_TEXT_1 = """Based on the reasoning paths, please answer the given question and explain why 

Reasoning Paths: 
Northern District -> location.administrative_division.first_level_division_of -> Israel -> government.form_of_government.countries -> Parliamentary system

Question: 
What type of government is used in the country with Northern District?"""

outputs = model(INPUT_TEXT_1, return_full_text=False)
print(outputs[0]['generated_text'])