llmgraph

使用大语言模型创建知识图谱。

llmgraph 允许您根据给定的维基百科源实体页面，以 GraphML、GEXF 和 HTML 格式（通过 pyvis 生成）创建知识图谱。这些知识图谱是通过从 ChatGPT 或其他大型语言模型（LLM）中提取世界知识而生成的，这些模型由 LiteLLM 支持。

有关知识图谱的背景知识，请参阅 Computerphile 的 YouTube 概述：观看视频

功能

• 根据源实体创建知识图谱。
• 使用 ChatGPT（或指定的其他 LLM）提取世界知识。
• 生成 HTML、GraphML 和 GEXF 格式的知识图谱。
• 支持多种实体类型和关系，可通过自定义提示词实现。
• 支持缓存，可高效地迭代扩展知识图谱。
• 输出“总 token 数”，以便了解 LLM 的成本（尽管默认运行仅需约 1 美分）。
• 可自定义模型（默认为 OpenAI 的 gpt-5-mini，以兼顾速度和成本）。

安装

您可以使用 pip 安装 llmgraph，最好是在 Python 虚拟环境 中：

pip install llmgraph

或者，您可以查看一个示例笔记本，其中使用了 llmgraph，并且可以直接在 Google Colab 中运行。

示例输出

除了 GraphML 和 GEXF 格式外，还可以查看一个启用物理引擎的 HTML pyvis 图：

人工智能示例

_{生成上述机器学习图：
llmgraph machine-learning "https://en.wikipedia.org/wiki/Artificial_intelligence" --levels 4
查看完整图：machine-learning_artificial-intelligence_v1.0.0_level4_fully_connected.html}

llmgraph 使用方法

示例用法

上面的示例是通过以下命令生成的，该命令需要一个 entity_type 和一个带引号的 entity_wikipedia 源 URL：

llmgraph machine-learning "https://en.wikipedia.org/wiki/Artificial_intelligence" --levels 3

此示例基于给定的起始节点“人工智能”创建了一个 3 层知识图谱。

默认情况下使用 OpenAI，您需要在运行前设置环境变量 OPENAI_API_KEY。更多信息请参阅 OpenAI 文档。运行过程中会输出“使用的总 token 数”。作为参考，这个 3 层示例总共使用了 7,650 个 gpt-5-mini token，截至 2025 年 10 月，费用不到 2 美分。

您也可以指定不同的 LLM 提供商，包括使用本地的 ollama 模型。只要支持 LiteLLM 的模型，都可以在这里指定：https://docs.litellm.ai/docs/providers。请注意，用于提取相关实体的提示词是针对 OpenAI 测试过的，可能在其他模型上效果不佳。

本地 ollama/llama2 模型示例：

llmgraph machine-learning "https://en.wikipedia.org/wiki/Artificial_intelligence" --levels 3 --llm-model ollama/llama2 --llm-base-url http://localhost:<your_port>

entity_type 设置了用于查找要包含在图中的相关实体的 LLM 提示词。完整的列表可以在 prompts.yaml 中查看，包括以下实体类型：

• automobile
• book
• computer-game
• concepts-general
• concepts-science
• creative-general
• documentary
• food
• machine-learning
• movie
• music
• people-historical
• podcast
• software-engineering
• tv

必需参数

• entity_type（文本）：实体类型（例如 movie）
• entity_wikipedia（文本）：根实体的完整维基百科链接

可选参数

• --entity-root（文本）：如果与维基百科页面标题不同，可覆盖根实体名称 [默认：无]
• --levels（整数）：从中心根实体向外构建的层数 [默认：2]
• --max-sum-total-tokens（整数）：生成图的最大 token 总数 [默认：200000]
• --output-folder（文本）：输出文件的保存路径 [默认：./_output/]
• --llm-model（文本）：模型名称 [默认：gpt-5-mini]
• --llm-temp（浮点数）：LLM 温度值 [默认：1.0]
• --llm-base-url（文本）：LLM 将使用自定义基础 URL 而不是自动获取的 URL [默认：无]
• --version：显示 llmgraph 版本并退出。
• --help：显示此消息并退出。

注意：对于 gpt-5 模型，仅支持温度=1。

更多 HTML 输出示例

以下是不同实体类型和根实体的 HTML 图形输出示例（附有生成命令和查看完整交互式图的链接）。

安装 llmgraph，创建您自己的知识图谱吧！欢迎在上方的 问题专区 分享有趣的成果，并添加文档标签 :)

知识图谱概念示例

_{生成上述概念通用图的命令：
llmgraph concepts-general "https://en.wikipedia.org/wiki/Knowledge_graph" --levels 4
查看完整图： concepts-general_knowledge-graph_v1.0.0_level4_fully_connected.html}

《盗梦空间》电影示例

_{生成上述电影图的命令：
llmgraph movie "https://en.wikipedia.org/wiki/Inception" --levels 4
查看完整图： movie_inception_v1.0.0_level4_fully_connected.html}

OpenAI 公司示例

_{生成上述公司图的命令：
llmgraph company "https://en.wikipedia.org/wiki/OpenAI" --levels 4
查看完整图： company_openai_v1.0.0_level4_fully_connected.html}

约翰·冯·诺依曼人物示例

_{生成上述历史人物图的命令：
llmgraph people-historical "https://en.wikipedia.org/wiki/John_von_Neumann" --levels 4
查看完整图： people-historical_john-von-neumann_v1.0.0_level4_fully_connected.html}

用于生成图谱的提示示例

以下是用于从给定源实体中提取相关实体的提示模板示例，其中包含占位符。该模板会递归应用以创建知识图谱，并在必要时合并重复节点。

你对{knowledgeable_about}非常熟悉。
请以 JSON 数组格式列出与 '{{entity_root}}' 最相似的前 {top_n} 个 {entities}，
并附上维基百科链接、相似原因以及 0 到 1 的相似度评分。
请将你的回复格式化为包含以下列名的 JSON 数组：'name'、'wikipedia_link'、'reason_for_similarity' 和 'similarity'。
示例回复：{{{{"name": "示例 {entity}","wikipedia_link": "https://en.wikipedia.org/wiki/示例_{entity_underscored}","reason_for_similarity": "相似原因","similarity": 0.5}}}}

此提示在主要测试的 LLM（OpenAI gpt-5-mini）上表现良好。使用 Llama2 时效果尚可，但不如前者。该提示的权威来源及更多详细信息可在 prompts.yaml 中查看。

每种实体类型都有自定义占位符，例如 concepts-general 和 documentary：

concepts-general:
    system: 你是一位博学的本体论专家和知识图谱创建者。
    knowledgeable_about: 许多概念和本体论。
    entities: 概念
    entity: 概念名称
    top_n: 5

documentary:
    system: 你精通各类纪录片及其流派。
    knowledgeable_about: 各类纪录片及其流派。
    entities: 纪录片
    entity: 纪录片
    top_n: 5

缓存的 LLM API 调用

每次调用 LLM API（以及维基百科）都会被本地缓存在 .joblib_cache 文件夹中。这使得中断的运行可以在不重复相同调用的情况下继续进行。同时，这也允许在使用更高 --level 选项重新运行时，复用较低级别运行的结果（前提是实体类型和来源相同）。

未来改进方向

• 对比不同 LLM 模型生成的图谱输出（例如 Llama2、Mistral 和 ChatGPT-4）。
• 探讨这一方法是否能揭示 LLM 如何理解世界。
• 在文档中增加更多示例，并提供易于浏览的示例。
• 提供本地运行说明以及添加自定义 entity_type 提示的方法。
• 改进 pyviz HTML 输出，特别是将实体关系的原因纳入用户界面，并优化像素大小等参数。
• 并行化 API 调用和结果处理。
• 移除对维基百科实体作为来源的依赖。
• 将 llmgraphg 的结果与其他非 LLM 图谱构建方法进行对比，例如利用维基百科页面链接或 直接文章嵌入。

贡献说明

欢迎为 llmgraph 做出贡献。请按照以下步骤操作：

1. 分支该项目。
2. 为您的功能或错误修复创建一个新分支。
3. 进行更改并提交。
4. 创建包含您更改描述的拉取请求。

感谢 🙏

感谢 @breitburg 实现 LiteLLM 更新。

参考文献

• https://arxiv.org/abs/2211.10511 - 从文本生成知识图谱
• https://arxiv.org/abs/2310.04562 - 面向知识图谱推理的基础模型
• https://arxiv.org/abs/2206.14268 - BertNet：从预训练语言模型中挖掘具有任意关系的知识图谱
• https://arxiv.org/abs/2312.02783 - 大型语言模型与图：全面综述
• https://github.com/aws/graph-notebook - Graph Notebook：轻松查询和可视化图
• https://github.com/KiddoZhu/NBFNet-PyG - PyG 版本的神经贝尔曼-福特网络重实现
• https://caminao.blog/knowledge-management-booklet/a-hitchhikers-guide-to-knowledge-galaxies/ - 知识星系漫游指南
• https://github.com/PeterGriffinJin/Awesome-Language-Model-on-Graphs - 基于“大型语言模型与图：全面综述”整理的论文和资源列表。

llmgraph 快速上手指南

llmgraph 是一个利用大语言模型（LLM）从维基百科页面提取世界知识并生成知识图谱的开源工具。支持输出 GraphML、GEXF 以及可交互的 HTML 格式图谱。

环境准备

在开始之前，请确保满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：建议 Python 3.8+
• API Key：
  • 默认使用 OpenAI 模型，需设置环境变量 OPENAI_API_KEY。
  • 若使用本地模型（如 Ollama）或其他提供商，需配置相应的服务地址。
• 虚拟环境（推荐）：建议使用 venv 或 conda 创建独立的 Python 环境以避免依赖冲突。

安装步骤

可以通过 pip 直接安装最新稳定版：

pip install llmgraph

或者，如果您希望直接在浏览器中体验，可以使用 Google Colab 运行官方示例 Notebook： 在 Colab 中打开示例

基本使用

1. 配置 API Key

在使用默认模型前，请在终端导出您的 OpenAI API Key：

Linux/macOS:

export OPENAI_API_KEY="your-api-key-here"

Windows (PowerShell):

$env:OPENAI_API_KEY="your-api-key-here"

2. 生成知识图谱

运行以下命令即可基于维基百科页面生成图谱。命令需要两个核心参数：实体类型 和 维基百科链接。

示例：生成关于“人工智能”的 3 层深度知识图谱

llmgraph machine-learning "https://en.wikipedia.org/wiki/Artificial_intelligence" --levels 3

• machine-learning: 实体类型（告诉 LLM 如何提取相关概念）。
• "https://...": 起始实体的维基百科 URL。
• --levels 3: 图谱扩展的深度层级（默认为 2）。

执行完成后，工具会在当前目录下的 _output/ 文件夹中生成文件，包括：

• .html: 可交互的可视化图谱（推荐使用浏览器打开查看）。
• .graphml / .gexf: 标准图谱数据格式，可用于 Gephi 等专业工具。
• 控制台会输出消耗的 Token 总数及预估成本。

3. 常用参数说明

参数	说明	默认值
entity_type	实体类型，决定提示词策略 (如: movie, book, people-historical)	必填
entity_wikipedia	根节点的维基百科完整链接	必填
--levels	图谱递归生成的层数	2
--llm-model	指定使用的模型 (如: ollama/llama2)	gpt-5-mini
--llm-base-url	自定义 LLM 服务地址 (用于本地模型或代理)	None
--output-folder	输出文件保存路径	./_output/

4. 使用本地模型 (可选)

如果您使用本地部署的 Ollama 模型，可以这样运行：

llmgraph machine-learning "https://en.wikipedia.org/wiki/Artificial_intelligence" --levels 3 --llm-model ollama/llama2 --llm-base-url http://localhost:11434

注意：自定义提示词主要针对 OpenAI 模型优化，使用其他模型时效果可能略有差异。工具会自动缓存 API 调用结果，中断后可重新运行以续传进度。