AI 驱动的知识图谱生成器

该系统接收一份非结构化文本文件，并使用你选择的 LLM（大语言模型，Large Language Model）从中提取以“主语-谓语-宾语”（Subject-Predicate-Object, SPO）三元组形式表示的知识，并将这些关系可视化为一个交互式知识图谱。
使用本项目生成的知识图谱示例可在此查看：工业革命知识图谱

功能特性

• 文本分块（Text Chunking）：自动将大型文档拆分为便于处理的小块
• 知识抽取（Knowledge Extraction）：利用 AI 识别实体及其相互关系
• 实体标准化（Entity Standardization）：确保不同文本块中的实体命名一致
• 关系推理（Relationship Inference）：发现图谱中不相连部分之间的额外关系
• 交互式可视化（Interactive Visualization）：生成可交互的图谱可视化结果
• 兼容任意 OpenAI 兼容的 API 端点：支持 Ollama、LM Studio、OpenAI、vLLM、LiteLLM（后者可接入 AWS Bedrock、Azure OpenAI、Anthropic 等众多 LLM 服务）

依赖要求

• Python 3.11+
• 所需依赖包（可通过 pip install -r requirements.txt 或 uv sync 安装）

快速开始

1. 克隆本仓库
2. 安装依赖：pip install -r requirements.txt
3. 在 config.toml 中配置你的设置
4. 运行系统：

python generate-graph.py --input your_text_file.txt --output knowledge_graph.html

或使用 UV：

uv run generate-graph.py --input your_text_file.txt --output knowledge_graph.html

或安装为模块后使用：

pip install --upgrade -e .
generate-graph --input your_text_file.txt --output knowledge_graph.html

配置说明

系统可通过 config.toml 文件进行配置：

[llm]
model = "gemma3"  # Google 开源权重模型
api_key = "sk-1234"
base_url = "http://localhost:11434/v1/chat/completions" # 本地运行的 Ollama 实例（也可替换为任意 OpenAI 兼容端点）
max_tokens = 8192
temperature = 0.2

[chunking]
chunk_size = 200  # 每个文本块的单词数量
overlap = 20      # 相邻文本块之间的重叠单词数

[standardization]
enabled = true            # 启用实体标准化
use_llm_for_entities = true  # 使用 LLM 进行额外的实体消歧

[inference]
enabled = true             # 启用关系推理
use_llm_for_inference = true  # 使用 LLM 进行关系推理
apply_transitive = true    # 应用传递性推理规则

命令行选项

• --input FILE：待处理的输入文本文件
• --output FILE：用于可视化的输出 HTML 文件（默认：knowledge_graph.html）
• --config FILE：配置文件路径（默认：config.toml）
• --debug：启用调试输出，显示原始 LLM 响应
• --no-standardize：禁用实体标准化
• --no-inference：禁用关系推理
• --test：使用测试数据生成示例可视化

使用帮助信息（--help）

generate-graph --help
usage: generate-graph [-h] [--test] [--config CONFIG] [--output OUTPUT] [--input INPUT] [--debug] [--no-standardize] [--no-inference]

Knowledge Graph Generator and Visualizer

options:
  -h, --help        show this help message and exit
  --test            Generate a test visualization with sample data
  --config CONFIG   Path to configuration file
  --output OUTPUT   Output HTML file path
  --input INPUT     Path to input text file (required unless --test is used)
  --debug           Enable debug output (raw LLM responses and extracted JSON)
  --no-standardize  Disable entity standardization
  --no-inference    Disable relationship inference

示例运行

命令：

generate-graph --input data/industrial-revolution.txt --output industrial-revolution-kg.html

控制台输出：

Using input text from file: data/industrial-revolution.txt
==================================================
阶段 1：初始三元组提取（Triple Extraction）
==================================================
正在将文本处理为 13 个块（每块大小：100 词，重叠：20 词）
正在处理块 1/13（100 词）
正在处理块 2/13（100 词）
正在处理块 3/13（100 词）
正在处理块 4/13（100 词）
正在处理块 5/13（100 词）
正在处理块 6/13（100 词）
正在处理块 7/13（100 词）
正在处理块 8/13（100 词）
正在处理块 9/13（100 词）
正在处理块 10/13（100 词）
正在处理块 11/13（100 词）
正在处理块 12/13（86 词）
正在处理块 13/13（20 词）

从所有块中共提取出 216 个三元组

==================================================
阶段 2：实体标准化（Entity Standardization）
==================================================
起始状态：216 个三元组，201 个唯一实体
正在对所有三元组中的实体名称进行标准化...
对 15 个实体组应用了基于大语言模型（LLM）的实体标准化
将 201 个实体标准化为 181 种标准形式
标准化后：216 个三元组，160 个唯一实体

==================================================
阶段 3：关系推理（Relationship Inference）
==================================================
起始状态：216 个三元组
推理前出现次数最多的 5 种关系类型：
  - enables: 出现 20 次
  - impacts: 出现 15 次
  - enabled: 出现 12 次
  - pioneered: 出现 10 次
  - invented: 出现 9 次
正在推断实体之间的额外关系...
在图中识别出 9 个不连通的社区（communities）
推断出 3 个社区间的新关系
推断出 3 个社区间的新关系
推断出 3 个社区间的新关系
推断出 3 个社区间的新关系
推断出 3 个社区间的新关系
推断出 3 个社区间的新关系
推断出 3 个社区间的新关系
推断出 3 个社区间的新关系
推断出 3 个社区间的新关系
推断出 3 个社区间的新关系
推断出 9 个社区内的新关系
推断出 2 个社区内的新关系
基于词汇相似性推断出 88 个关系
新增了 -22 个推断关系

推理后出现次数最多的 5 种关系类型：
  - related to: 出现 65 次
  - advances via Artificial Intelligence: 出现 36 次
  - pioneered via computing: 出现 26 次
  - enables via computing: 出现 24 次
  - enables: 出现 21 次

新增了 370 个推断关系
最终知识图谱：564 个三元组
原始知识图谱数据已保存至 /mnt/c/Users/rmcdermo/Documents/industrial-revolution-kg.json
正在处理 564 个三元组以生成可视化
发现 161 个唯一节点
发现 355 个推断关系
使用 Louvain 方法检测到 9 个社区
NetworkX 图中的节点数：161
NetworkX 图中的边数：537
知识图谱可视化已保存至 /mnt/c/Users/rmcdermo/Documents/industrial-revolution-kg.html
图统计信息：{
  "nodes": 161,
  "edges": 564,
  "original_edges": 209,
  "inferred_edges": 355,
  "communities": 9
}

知识图谱统计信息：
节点数：161  
边数：564  
社区数：9  

要查看可视化结果，请在浏览器中打开以下文件：
file:///mnt/c/Users/rmcdermo/Documents/industrial-revolution-kg.html

工作原理

1. 分块（Chunking）：将文档分割为有重叠的文本块，以适应大语言模型（LLM）的上下文窗口限制。
2. 第一轮处理 - SPO 提取（Subject-Predicate-Object Extraction）：
   • 每个文本块由 LLM 处理，提取主语-谓语-宾语（SPO）三元组
   • 在 process_with_llm 函数中实现
   • LLM 识别每个文本段中的实体及其关系
   • 所有块的结果汇总形成初始知识图谱
3. 第二轮处理 - 实体标准化（Entity Standardization）：
   • 通过文本规范化进行基础标准化
   • 可选启用 LLM 辅助的实体对齐（由配置项 standardization.use_llm_for_entities 控制）
   • 启用后，LLM 会审查图谱中所有唯一实体，并识别指向同一概念的实体组
   • 解决同一实体在不同文本块中表述不一致的问题（例如：“AI”、“artificial intelligence”、“AI system”）
   • 标准化有助于构建更连贯、更易浏览的知识图谱
4. 第三轮处理 - 关系推理（Relationship Inference）：
   • 自动推断传递性关系
   • 可选启用 LLM 辅助的不连通图组件间关系推理（由配置项 inference.use_llm_for_inference 控制）
   • 启用后，LLM 会分析来自不连通社区的代表性实体，并推断合理的关系
   • 通过添加文本中未明确说明的逻辑连接，减少图谱碎片化
   • 基于规则和基于 LLM 的推理方法协同工作，构建更全面的图谱
5. 可视化（Visualization）：使用 PyVis 库生成交互式 HTML 可视化

第二轮和第三轮处理均为可选项，可在配置中禁用，以最小化 LLM 使用或手动控制这些流程。

可视化特性

• 社区颜色编码：节点颜色代表不同社区
• 节点大小：根据重要性（度中心性、介数中心性、特征向量中心性）调整节点大小
• 关系类型：原始关系以实线显示，推断关系以虚线显示
• 交互控件：支持缩放、平移、悬停查看详情、过滤及物理引擎控制
• 浅色（默认）和深色主题

项目结构

.
├── config.toml                     # 系统的主配置文件
├── generate-graph.py               # 直接作为脚本运行时的入口点
├── pyproject.toml                  # Python 项目元数据和构建配置
├── requirements.txt                # 供 'pip' 用户使用的 Python 依赖项
├── uv.lock                         # 供 'uv' 用户使用的 Python 依赖项
└── src/                            # 源代码
    ├── generate_graph.py           # 作为模块运行时的主入口脚本
    └── knowledge_graph/            # 核心包
        ├── __init__.py             # 包初始化文件
        ├── config.py               # 配置加载与验证
        ├── entity_standardization.py # 实体标准化（Entity Standardization）算法
        ├── llm.py                  # LLM（大语言模型，Large Language Model）交互与响应处理
        ├── main.py                 # 主程序流程与协调逻辑
        ├── prompts.py              # LLM 提示词（Prompts）的集中管理
        ├── text_utils.py           # 文本处理与分块工具
        ├── visualization.py        # 知识图谱可视化生成器
        └── templates/              # 可视化用的 HTML 模板
            └── graph_template.html # 交互式图谱的基础模板

程序流程

下图展示了程序的执行流程。

flowchart TD
    %% Main entry points
    A[main.py - Entry Point] --> B{Parse Arguments}
    
    %% Test mode branch
    B -->|--test flag| C[sample_data_visualization]
    C --> D[visualize_knowledge_graph]
    
    %% Normal processing branch
    B -->|normal processing| E[load_config]
    E --> F[process_text_in_chunks]
    
    %% Text processing
    F --> G[chunk_text]
    G --> H[process_with_llm]
    
    %% LLM processing
    H --> I[call_llm]
    I --> J[extract_json_from_text]
    
    %% Entity standardization phase
    F --> K{standardization enabled?}
    K -->|yes| L[standardize_entities]
    K -->|no| M{inference enabled?}
    L --> M
    
    %% Relationship inference phase
    M -->|yes| N[infer_relationships]
    M -->|no| O[visualize_knowledge_graph]
    N --> O
    
    %% Visualization components
    O --> P[_calculate_centrality_metrics]
    O --> Q[_detect_communities]
    O --> R[_calculate_node_sizes]
    O --> S[_add_nodes_and_edges_to_network]
    O --> T[_get_visualization_options]
    O --> U[_save_and_modify_html]
    
    %% Subprocesses
    L --> L1[_resolve_entities_with_llm]
    N --> N1[_identify_communities]
    N --> N2[_infer_relationships_with_llm]
    N --> N3[_infer_within_community_relationships]
    N --> N4[_apply_transitive_inference]
    N --> N5[_infer_relationships_by_lexical_similarity]
    N --> N6[_deduplicate_triples]
    
    %% File outputs
    U --> V[HTML Visualization]
    F --> W[JSON Data Export]
    
    %% Prompts usage
    Y[prompts.py] --> H
    Y --> L1
    Y --> N2
    Y --> N3
    
    %% Module dependencies
    subgraph Modules
        main.py
        config.py
        text_utils.py
        llm.py
        entity_standardization.py
        visualization.py
        prompts.py
    end
    
    %% Phases
    subgraph Phase 1: Triple Extraction
        G
        H
        I
        J
    end
    
    subgraph Phase 2: Entity Standardization
        L
        L1
    end
    
    subgraph Phase 3: Relationship Inference
        N
        N1
        N2
        N3
        N4
        N5
        N6
    end
    
    subgraph Phase 4: Visualization
        O
        P
        Q
        R
        S
        T
        U
    end

程序流程说明

1. 入口点：程序从 main.py 开始，解析命令行参数。

2. 模式选择：

   • 如果提供了 --test 标志，则生成一个示例可视化结果
   • 否则，处理输入的文本文件

3. 配置加载：使用 config.py 从 config.toml 中加载配置

4. 文本处理：

   • 使用 text_utils.py 将文本按重叠方式切分为多个块
   • 对每个文本块调用 LLM 提取三元组（triples）
   • 使用 prompts.py 中的提示词引导 LLM 的提取过程

5. 实体标准化（可选）：

   • 对所有三元组中的实体名称进行标准化
   • 在存在歧义的情况下，可能使用 LLM 进行实体消歧（entity resolution）
   • 使用 prompts.py 中专门用于实体消歧的提示词

6. 关系推理（可选）：

   • 识别图谱中的社区（communities）
   • 推理不同社区之间的潜在关系
   • 应用传递性推理（transitive inference）和词汇相似性规则
   • 使用 prompts.py 中专门用于关系推理的提示词
   • 对三元组进行去重

7. 可视化：

   • 计算中心性指标（centrality metrics）并检测社区结构
   • 根据节点重要性确定其大小和颜色
   • 使用 PyVis 生成交互式 HTML 可视化
   • 利用模板自定义 HTML 内容

8. 输出：

   • 将知识图谱同时保存为 HTML 和 JSON 格式
   • 显示关于节点、边和社区的统计信息

ai-knowledge-graph 快速上手指南

环境准备

• 操作系统：支持 Windows / macOS / Linux
• Python 版本：3.11 或更高版本
• 依赖管理工具（可选）：
  • 推荐使用 uv（比 pip 更快）
  • 或使用标准 pip

💡 国内用户建议配置 PyPI 镜像源加速安装，例如：

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆项目仓库：

   git clone https://github.com/robert-mcdermott/ai-knowledge-graph.git
   cd ai-knowledge-graph
   

2. 安装依赖（任选其一）：

   使用 pip：

   pip install -r requirements.txt
   

   使用 uv（推荐）：

   uv sync
   

3. （可选）以模块方式安装（便于全局调用）：

   pip install --upgrade -e .
   

基本使用

1. 配置 LLM 接口

编辑 config.toml 文件，设置你的大模型 API：

[llm]
model = "gemma3"
api_key = "sk-1234"  # 若使用本地模型（如 Ollama），可留空或忽略
base_url = "http://localhost:11434/v1/chat/completions"  # 本地 Ollama 示例

✅ 支持任意 OpenAI 兼容接口，包括：

• 本地 Ollama / LM Studio
• OpenAI / Azure OpenAI
• AWS Bedrock、Anthropic（通过 LiteLLM）
• vLLM 等

2. 运行生成知识图谱

准备一个 .txt 文本文件（如 input.txt），然后执行：

python generate-graph.py --input input.txt --output graph.html

或使用模块命令（若已执行 -e . 安装）：

generate-graph --input input.txt --output graph.html

或使用 uv：

uv run generate-graph.py --input input.txt --output graph.html

3. 查看结果

生成完成后，打开输出的 HTML 文件（如 graph.html）即可在浏览器中交互式查看知识图谱。

🚀 快速体验：运行测试示例

generate-graph --test

将自动生成示例图谱并保存为 knowledge_graph.html。