ToG

论文代码：“Think-on-Graph：知识图谱上的大型语言模型深度且负责任的推理”。

ToG 的原始仓库地址为 这里。

新闻！

我们的论文已被 ICLR 2024 接收 🥳🥳🥳。

下面是 ToG 的示意图：

ToG 的流程图：

项目结构

• requirements.txt：Pip 环境文件。
• data/：评估数据集。详情请参阅 data/README.md。
• CoT/：链式思维方法。详情请参阅 CoT/README.md。
• eval/：评估脚本。详情请参阅 eval/README.md。
• Freebase/：Freebase 环境配置。详情请参阅 Freebase/README.md。
• Wikidata/：Wikidata 环境配置。详情请参阅 Wikidata/README.md。
• tools/：ToG 中使用的常用工具。详情请参阅 tools/README.md。
• ToG/：源代码。
  • client.py：预定义的 Wikidata API，复制自 Wikidata/。
  • server_urls.txt：Wikidata 服务器地址，复制自 Wikidata/。
  • main_freebase.py：以 Freebase 作为知识图谱来源的 ToG 主程序。详情请参阅 README.md。
  • main_wiki.py：同上，但使用 Wikidata 作为知识图谱来源。详情请参阅 README.md。
  • prompt_list.py：用于剪枝、推理和生成的提示词列表。
  • freebase_func.py：main_freebase.py 中使用的所有函数。
  • wiki_func.py：main_wiki.py 中使用的所有函数。
  • utils.py：ToG 中使用的所有工具函数。

开始使用

在运行 ToG 之前，请确保您已在本地成功安装 Freebase 或 Wikidata。详细的安装说明及必要的配置信息可在相应文件夹内的 README.md 文件中找到。

运行 ToG 所需的库列于 requirements.txt 中。

当使用 Wikidata 服务时，请将 Wikidata 目录下的 client.py 和 server_urls.txt 文件复制到 ToG 文件夹中。

如何运行

请参阅 ToG/ 的 README.md。

如何评估

获得结果文件（如 ToG_cwq.jsonl）后，应使用 tools 目录下的 jsonl2json.py 脚本将其转换为 ToG_cwq.json。然后，使用 eval 文件夹中的脚本进行评估（详见 eval 文件夹中的 README.md）。

如何引用

如果您对本工作感兴趣或受到启发，可以按以下方式引用我们：

@misc{sun2023thinkongraph,
      title={Think-on-Graph: Deep and Responsible Reasoning of Large Language Model with Knowledge Graph}, 
      author={Jiashuo Sun and Chengjin Xu and Lumingyuan Tang and Saizhuo Wang and Chen Lin and Yeyun Gong and Heung-Yeung Shum and Jian Guo},
      year={2023},
      eprint={2307.07697},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

实验：

应用：

声明

本项目采用 Apache 2.0 协议。对于模型的任何输出，本项目不承担任何法律责任，也不会因使用相关资源及输出而产生的任何损害承担责任。

供参考

IDEA（深圳）正在招募积极主动的实习生。如果您对大语言模型和知识图谱相关领域感兴趣，请将您的简历发送至邮箱 xuchengjin@idea.edu.cn。

ToG 快速上手指南

ToG (Think-on-Graph) 是一个结合大型语言模型（LLM）与知识图谱（KG）进行深度推理的开源框架，相关论文已被 ICLR 2024 录用。本指南将帮助你快速在本地搭建并运行该工具。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统：Linux 或 macOS（Windows 用户建议使用 WSL2）。
• Python 版本：推荐 Python 3.8 或更高版本。
• 知识图谱环境：必须先在本地成功部署 Freebase 或 Wikidata 其中之一。
  • 具体安装配置请参考项目根目录下对应的 Freebase/README.md 或 Wikidata/README.md。
• 网络环境：运行 Wikidata 模式时需要能够访问相应的服务器接口。

安装步骤

1. 克隆项目代码

   git clone https://github.com/GasolSun36/ToG.git
   cd ToG
   

2. 安装 Python 依赖 建议使用虚拟环境（如 conda 或 venv），然后安装所需库：

   pip install -r requirements.txt
   

   提示：国内开发者可使用清华源加速安装： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 配置 Wikidata 模式（仅当使用 Wikidata 时） 如果你选择使用 Wikidata 作为知识图谱源，需要将配置文件复制到核心代码目录：

   cp Wikidata/client.py ToG/
   cp Wikidata/server_urls.txt ToG/
   

   注：若使用 Freebase 模式，请确保已按 Freebase/README.md 完成相应设置，无需执行此步。

基本使用

ToG 的核心逻辑位于 ToG/ 目录下，根据你选择的知识图谱源，运行不同的入口脚本。

1. 运行推理

场景 A：使用 Freebase 作为知识图谱源

python ToG/main_freebase.py

场景 B：使用 Wikidata 作为知识图谱源

python ToG/main_wiki.py

注意：具体的参数配置（如输入问题、模型路径等）请在运行前查阅 ToG/README.md 或在脚本中调整。

2. 评估结果

推理完成后，会生成 .jsonl 格式的结果文件（例如 ToG_cwq.jsonl）。若要评估效果，需先转换格式再运行评估脚本：

第一步：转换文件格式

python tools/jsonl2json.py ToG_cwq.jsonl

执行后将生成 ToG_cwq.json。

第二步：运行评估 进入 eval/ 目录，参照该目录下的 README.md 运行评估脚本即可得到最终指标。