LLM 增强的因果发现工具包：技术介绍

背景与挑战

从观测数据中推断因果关系是数据科学及相关研究领域的核心挑战。传统的因果发现方法严重依赖领域专家的先验知识进行指导。然而，获取此类知识往往涉及大量的时间和金钱成本，这在很大程度上限制了高级因果发现技术的应用范围。

大语言模型（LLM）的机会与挑战

大语言模型（LLM）的出现为获取先验知识提供了新的可能性。通过向 LLM 查询变量之间的关系，研究人员可以获得接近专家水平的判断。这种方法的优势在于显著降低了知识获取的成本。此外，在某些场景下，LLM 提供的知识可能比非专业人士的判断更为客观。

然而，这种新范式也伴随着挑战。LLM 具有内在的不稳定性；针对同一主题的查询可能会返回不一致甚至自相矛盾的结果。直接将这种不准确或内部矛盾的信息作为先验使用，不仅无法提高模型性能，还可能对最终分析的准确性产生负面影响。

我们的方法与工具包核心功能

为了解决这一挑战，我们开发了此工具包。它旨在充分利用 LLM 强大的知识库，同时系统性地减轻与其不稳定性相关的风险。

我们的核心方法受最新研究成果启发：与直接要求 LLM 判断抽象的因果关系相比，引导 LLM 确定事件的具体时间顺序能产生更可靠和稳定的输出。

基于此，该工具包的核心功能包括：

• 结构化知识提取：在用户定义研究场景和变量后，工具包自动生成结构化查询以引导 LLM，高效提取关于变量时间顺序的高置信度信息。
• 模型输出的整合与优化：工具包包含内置的分析机制来处理 LLM 返回的初始信息。它系统地整合这些潜在不一致的局部判断，旨在优化出更全局一致且可靠的变量排序。
• 与下游算法的兼容性：工具包生成的优化后的时间先验可作为高质量约束，灵活应用于各种主流因果发现算法，帮助从现实世界数据中构建更准确、鲁棒的因果结构。

框架概述

上述框架图提供了对整个工作流程更直观的理解。

整个过程可总结为几个高层级阶段：

• 阶段 1：初始知识生成（偏序生成）

  • 在此阶段，我们通过场景模拟和元数据输入向 LLM 发起结构化查询。
  • 目标是获得模型关于变量时间序列的初步、离散判断。

• 阶段 2：知识整合与优化（冲突分解与最优全序发现）

  • 这是过程中的关键步骤。工具包系统分析从 LLM 获得的所有初步判断。
  • 它整合这些分散且潜在不一致的局部信息，旨在优化出更全局一致且可靠的变量排序。

• 阶段 3：指导下游分析（基于顺序的因果性）

  • 最后，这个优化后的全局排序作为高质量的先验知识。
  • 它可以输入到用户选择的任何标准因果发现算法中，作为强有力的外部指南，帮助算法更准确地收敛于真实数据以推断最终的因果图。

简而言之，该框架的核心是通过一系列系统步骤，将 LLM 提供的潜在模糊、矛盾且局部的知识转化为清晰可靠的全局变量排序，从而为数据驱动的因果学习提供有效支持。

结论与展望

我们期望此工具包能为从事因果科学研究和实践的专业人士提供有效支持，帮助用户更方便、可靠地利用大语言模型的强大知识源。我们相信这种方法为实现稳定且具有成本效益的因果发现提供了有价值的技术方向，并期待与学术界和产业界合作推动该领域的进一步发展。

可使用几种基于 LLM 的方法

本节介绍了一些使用大语言模型发现和生成先验的方法，供参考。

基于协调先验的 LLM 驱动因果发现

该框架的核心思想是利用 LLM（大型语言模型）作为知识专家。通过专门设计的 Prompting Strategies（提示策略），引导 LLM 从两个不同但互补的角度进行因果推理，生成可靠的“协调先验（Harmonized Prior）”。随后，将此协调先验集成到主流的因果结构学习算法中，以提高从数据中发现因果关系的准确性和可靠性。

框架的整体逻辑流程如左图所示，主要包含三个部分：双专家 LLM 推理、协调先验构建以及即插即用结构学习。

1. 双专家 LLM 推理模块 为了确保 LLM 提供的因果知识的准确性，该框架不让 LLM 直接判断所有变量对之间的复杂关系。相反，它将 LLM 配置为专注于特定任务的两种不同专家角色：保守型专家（Conservative Expert）和探索型专家（Exploratory Expert）。

• 保守型专家（Conservative Expert）- 旨在追求精度
  • 如左图所示，保守型专家的目标是识别最明确且可靠的因果关系。
  • 它首先使用“单步推理”快速筛选置信度最高的因果对。
  • 随后，它采用“分解与验证”策略，仔细逐一验证和确认这些选定的关系，以过滤掉潜在的虚假关联。
  • 最终输出是一组高精度的因果关系集合 $\lambda_p$，用作“路径存在约束（Path Existence Constraint）”。也就是说，如果 $(A,B)$ 在此集合中，则认为在真实因果图中存在从 A 到 B 的路径。

• 探索型专家（Exploratory Expert）- 旨在追求召回率
  • 如左图所示，探索型专家的目标是尽可能全面地识别所有潜在的因果链接。
  • 该模块以每个变量为中心，逐一分析数据集中哪些其他变量可能是其直接原因。
  • 通过这种“分解与探索”方法，它为每个变量生成一个“可能原因”列表 $C(x_i)$。
  • 所有这些可能原因被聚合为一个高召回率的因果关系集合 $\lambda_r$。该集合用于定义“边缺失约束（Edge Absence Constraint）”，意味着如果因果关系 $(A,B)$ 未出现在此集合中，则在最终因果图中禁止生成从 A 到 B 的直接边。

2. 协调先验构建 该框架融合了上述两位专家输出的因果知识，以构建统一的“协调先验（Harmonized Prior）”。此协调先验结合了双方的优势：

• 路径存在约束（Path Existence Constraint）： 利用保守型专家输出的高精度因果关系 $\lambda_p$。
• 边缺失约束（Edge Absence Constraint）： 利用探索型专家输出的高召回率因果关系 $\lambda_r$ 来定义可能直接边的范围。

这样，它不仅确保了强因果信号不被丢失，还通过排除大量不可能的因果连接有效限制了结构学习的搜索空间，从而提高整体准确性。

3. 与结构学习算法的集成 最后，这个构建好的“协调先验”以“即插即用（Plug-and-Play）”的方式集成到各种主流因果结构学习算法中，如图 1 顶部框所示。无论是基于分数（Score-based）、基于约束（Constraint-based）还是基于梯度（Gradient-based）的方法，都可以利用这一协调先验来指导其搜索过程，最终从观测数据（Observational Data）中学习到一个更准确可靠的因果图。

从查询工具到因果架构师

本节将介绍另一种利用大语言模型（Large Language Models, LLMs）进行因果发现的框架。与上述方法不同，该框架采用三阶段顺序提示流程，旨在从 LLM 中提取和修订因果知识，然后利用这些知识作为先验信息来指导传统的数据驱动因果结构学习算法。

整个框架的核心逻辑可以通过右侧表格中的示例提示来理解，它清晰地展示了三个核心阶段：变量理解、因果发现和错误修正。

1. 第一阶段：变量理解

此阶段的目标是首先让 LLM 准确理解数据集中每个变量的现实世界含义。

• 输入： 研究人员向 LLM 提供每个变量的符号及其可能的取值。这通常是标准数据集中最基本的可用信息。
• 示例提示（"Prompt Understand"）： 如表 1 所示，该提示要求 LLM 充当特定领域的专家，并根据其符号和值解释每个变量的含义。
• 输出： LLM 为每个变量生成详细的文本描述，为后续的因果推断奠定基础。

2. 第二阶段：因果发现

在充分理解变量含义的基础上，要求 LLM 识别它们之间的因果关系。

• 示例提示（"Prompt Causal Discovery"）： 本阶段的提示要求 LLM 分析变量间的因果效应，并以有向图网络的形式输出结果。
• 关键要求： 此处的提示明确强调图中的每条边必须代表两个变量之间的直接因果关系。

3. 第三阶段：错误修正

为了增强 LLM 输出的可靠性，该框架引入了一个自我修正阶段，提示 LLM 检查并纠正其之前生成的结论。

• 示例提示（"Prompt Revision"）： 第二阶段生成的因果陈述（例如 $x_i \rightarrow x_j$）被用作输入，反过来询问 LLM 这些陈述是否正确，并要求其提供理由。
• 目标： 通过这种自检机制，不准确的因果陈述会被过滤掉，最终产生一套更高质量、更可靠的因果关系集合，以指导后续的数据分析过程。

4. 与数据驱动算法的集成

该框架的一个核心见解是，虽然 LLM 被提示输出“直接”的因果关系，但 LLM 推断的知识本质上更接近于定性的、间接的因果关系。因此，通过三阶段过程获得的因果陈述并不直接被视为最终的因果图。

• 祖先约束： 框架将 LLM 修订后的因果陈述（例如 A 导致 B）转换为祖先约束。这意味着在最终的因果图中，必须存在一条从 A 到 B 的有向路径，但不一定是一条直接的边。
• 硬约束与软约束方法： 这些祖先约束随后被集成到基于分数的因果结构学习算法中。研究人员可以根据对 LLM 先验知识的信心程度选择不同的集成策略：
  • 硬约束方法： 严格强制执行最终因果图必须满足 LLM 提供的所有祖先约束，通过剪枝等方法缩小搜索空间。
  • 软约束方法： 将 LLM 的先验知识作为评分函数的一部分纳入其中。这种方法允许在数据与先验知识之间存在强烈冲突时丢弃一些先验约束，因此具有一定的容错能力。

项目目录

数据集部分

data_structure

• {Dataset_name}

  • {Dataset_name}_graph.txt：数据集变量的真实因果图。

  • {Dataset_name}.mapping：数据集变量名称的映射。

dataset

• {data}

  • {Dataset_name}

    • {Dataset_name}_continues_{n}dsize_random{r}：合成数据集，n 代表数据集大小与变量数量的比率，r 代表随机生成参数。

LLM 部分

prompt_design

• description

  • {Dataset_name}.json：数据集中变量的解释。

• prompt_generation.py：根据 description 中的内容生成所需的提示词。

• prompt

  • {Dataset_name}

    • {Dataset_name}_{Variable_name}.txt：实际使用的提示词。

LLM_query

• api.py：调用 API 查询数据集变量的因果关系。

• LLM_answer

  • {Dataset_name}

    • {LLM_name}

      • {Variable_name}.txt：数据集中特定变量的因果关系（原因和结果）。

因果发现部分

prior_knowledge

• knowledge_matrix_convert.py：清理大模型提供的知识并将其转换为矩阵形式。

• LLM_knowledge

  • {Dataset_name}

    • {Dataset_name}_{LLM_name}.txt：以矩阵形式存储的大模型知识。

• generation_edge_prior.py：基于大模型知识或真实因果图生成边先验。

• prior_based_on_LLM

  • {Dataset_name}

    • {Dataset_name}_{LLM_name}.txt：基于大语言模型生成的边先验矩阵。

• prior_based_on_ground_truth

  • {Dataset_name}

    • {Dataset_name}.txt：基于真实因果图生成的边先验矩阵。

src

• {method_name}.py：因果发现的主要方法。

causal_discovery

• evalution.py：训练过程中使用的评估函数。

• preparation.py：参数设置等准备工作。

• main.py：主程序。

out

• output.csv：显示模型训练结果的各个参数和指标。

---

🚀 快速开始

本项目主要有两种使用方式：

1. 面向终端用户： 下载并运行预构建的独立应用程序（推荐）。
2. 面向开发者： 克隆源代码并设置本地开发环境。

面向最终用户（推荐方法）

使用本系统最简单的方法是下载适用于 Linux 的最新预编译版本。除了两个系统工具外，这不需要您手动安装 Python 或任何依赖项。

以下是应用程序用户界面的概述。

界面的主要模块如下：

1. 数据上传： 允许上传和读取本地的 .csv 文件。
2. 先验知识输入： 一个专门区域用于输入专家知识，将作为算法的先验 (prior)。
3. 算法选择与配置： 从已实现的 4 种算法中选择（另有三种正在开发中）。选择算法后，您可以配置其参数。请注意，在当前开发阶段，并非所有参数都能完全生效。
4. 大语言模型集成： 使用大语言模型 (Large Language Model, LLM) 生成先验知识，作为人类专家的替代方案（仅对特定方法有效）。此部分还提供直接与大语言模型对话的界面以提问。

---

现在，请按照以下步骤安装并运行应用程序：

1. 安装前置条件

本应用程序需要 graphviz（用于图形渲染）和 unrar（用于解压下载的文件）。请先安装它们：

# For Debian/Ubuntu-based systems
sudo apt-get update && sudo apt-get install graphviz unrar

2. 下载应用程序

前往项目的 [GitHub Releases Page](https://www.google.com/search?q=https://github.com/WXY604/LLM-based-causal-discovery/releases) 查找最新版本。

从“Assets"部分下载 .rar 压缩包（例如 Causal.Discovery.System.part1.rar）。

3. 解压并运行

打开终端并运行以下命令：

# 1. Extract the RAR archive. Quotes are important due to spaces in the filename.
unrar x "Causal Discovery System.part1.rar"

# 2. Navigate into the new directory
cd CD

# 3. Grant execute permissions to the main program
chmod +x CD

# 4. Run the application
./CD

程序将在后台启动，并自动在默认 Web 浏览器中打开用户界面。要停止应用程序，请在终端中按 Ctrl + C。

---

面向开发者（从源代码）

如果您希望直接运行脚本、修改代码或为项目做出贡献，请遵循以下说明来设置本地开发环境。

安装指南

本指南提供逐步说明，用于下载 LLM-based-causal-discovery 项目并设置其本地环境。

步骤 1：克隆 GitHub 仓库

打开终端并使用 git clone 命令下载项目源代码。

git clone https://github.com/WXY604/LLM-based-causal-discovery.git

这将创建一个名为 LLM-based-causal-discovery 的文件夹。进入此新文件夹：

cd LLM-based-causal-discovery

步骤 2：创建并激活 Python 虚拟环境

强烈建议使用虚拟环境 (Virtual Environment) 以保持项目依赖项隔离。

# Create the virtual environment (we'll name it venv):
python -m venv venv

# Activate the virtual environment:
# On Windows:
.\venv\Scripts\activate
# On macOS and Linux:
source venv/bin/activate

激活后，您将看到终端提示符开头出现 (venv)。

步骤 3：安装项目依赖项

所有必需的 Python 库都列在 requirements.txt 文件中。确保您的虚拟环境已激活，然后运行：

pip install -r requirements.txt

此过程可能需要几分钟。

运行手册

本指南提供详细的说明，用于从源代码在不同场景下运行因果发现 (Causal Discovery) 流程。

场景 1：仅运行因果发现算法

如果您已经拥有所有预处理数据和先验知识，可以直接运行主程序。

python tools/causal_discovery/main.py

场景 2：从原始数据集进行因果发现

此工作流引导您完成整个过程，从下载原始数据集到完成发现。

1. 准备真实值 (Ground Truth) 和映射文件： 将这些文件放入 data_structure/{Dataset_name}/。
2. 准备数据集数据文件： 将您的 .csv 或 .txt 文件放入 dataset/data/{Dataset_name}/。
3. 生成先验矩阵： 运行脚本以从真实值生成边先验矩阵。

   python tools/causal_discovery/prior_knowledge/generation_edge_prior.py
   

4. 运行主程序：

   python tools/causal_discovery/main.py
   

场景 3：大语言模型辅助的因果发现

此工作流使用来自大语言模型 (LLM) 的外部知识作为先验。

1. 准备数据： 遵循场景 2 的步骤 1 和 2。
2. 获取 LLM 知识矩阵： 使用 LLM_query 中的工具（或您自己的方法），并按照 LLM_knowledge/{Dataset_name}/{Dataset_name}_{LLM_name}.txt 中的指定格式整理结果。
3. 从 LLM 知识生成先验矩阵： 首先，修改 tools/causal_discovery/prior_knowledge/generation_edge_prior.py 脚本，将其逻辑切换为基于 LLM 知识生成先验。修改后，运行它：

   python tools/causal_discovery/prior_knowledge/generation_edge_prior.py
   

4. 运行主程序：

   python tools/causal_discovery/main.py
   

LLM-based-causal-discovery 快速上手指南

环境准备

在使用本工具前，请确保您的开发环境满足以下要求：

• 操作系统：Linux / macOS / Windows
• Python 版本：3.8 及以上
• 依赖项：Git、网络访问权限（用于连接 LLM API）
• 硬件建议：具备 GPU 加速环境可提升数据处理效率（视具体算法而定）

安装步骤

1. 克隆项目代码

   git clone https://github.com/[repo-owner]/LLM-based-causal-discovery.git
   cd LLM-based-causal-discovery
   

2. 创建虚拟环境并安装依赖 建议使用国内镜像源以加速下载过程：

   python -m venv venv
   source venv/bin/activate  # Windows 用户使用：venv\Scripts\activate
   pip install -r requirements.txt --index-url https://pypi.tuna.tsinghua.edu.cn/simple
   

基本使用

本工具的核心目标是将 LLM 提供的潜在模糊或矛盾的知识，转化为清晰可靠的变量全局排序，从而辅助因果发现算法。主要工作流程如下：

1. 初始化与知识生成

• 定义场景：在配置文件中设定研究场景及变量列表。
• 结构化查询：系统自动生成针对 LLM 的查询指令，引导其判断变量间的时序关系（Temporal Order）。

2. 知识整合与优化

• 冲突处理：自动分析 LLM 返回的多轮次、局部性判断。
• 全局排序：通过冲突分解与最优全序发现机制，生成一致且可靠的变量顺序。

3. 下游算法集成

将优化后的时序先验作为约束条件，输入至主流因果发现算法中。工具支持多种基于 LLM 的先验构建方法，例如：

• Harmonized Prior（和谐先验） 采用双专家模式：

  • 保守专家：筛选高精度因果关系（路径存在约束）。
  • 探索专家：全面识别潜在因果链（边缺失约束）。 两者融合后用于指导结构学习。

• Query Tools to Causal Architects（从查询工具到因果架构师） 采用三阶段提示流程：

  1. 变量理解：让 LLM 解释变量含义。
  2. 因果发现：输出直接因果关系图。
  3. 错误修正：自我检查并修正因果陈述。

运行示例

根据上述框架配置参数后，执行主程序即可开始分析：

python main.py --config config.yaml

(注：具体命令参数请参考项目根目录下的详细文档)