医疗图谱RAG

我们构建了一个专门针对医疗领域的图谱RAG系统。

请在此处查看我们的论文：https://arxiv.org/abs/2408.04187

演示

这里有一个 Docker 演示：https://hub.docker.com/repository/docker/jundewu/medrag-post/general

使用方法如下：docker run -it --rm --storage-opt size=10G -p 7860:7860 \ -e OPENAI_API_KEY= your_key -e NCBI_API_KEY= your_key medrag-post

该演示使用基于 Web 的 PubMed 搜索，而不是本地存储医学论文和教科书，以绕过许可限制。

快速入门（基线：一个简单的医疗数据图谱RAG流程）

1. conda env create -f medgraphrag.yml

2. export OPENAI_API_KEY = your OPENAI_API_KEY

3. python run.py -simple True（目前使用 ./dataset_ex/report_0.txt 作为 RAG 文档，“患者的主诉是什么？”作为提示语，您可以在 run.py 中根据需要更改提示语。）

从头构建（论文中的完整图谱RAG流程）

关于数据集

论文数据集

顶层私有数据（用户提供的）：我们使用了 MIMIC IV 数据集 作为私有数据。

中层书籍和论文：我们使用 MedC-K 作为中层数据。该数据集来源于 S2ORC。只有带有 PubMed ID 的论文才被视为与医学相关，并在预训练期间使用。本书列在本仓库的 MedicalBook.xlsx 中，由于版权原因，我们无法公开原始内容。如需复现，请自行购买并处理这些书籍。

底层词典数据：我们使用 统一医学语言系统 (UMLS) 作为底层数据。要访问它，您需要注册一个账户并申请使用权限。该服务是免费的，通常很快就能获得批准。

在代码中，我们使用 'trinity' 参数来启用层次图链接功能。如果设置为 True，您还需要提供一个 'gid'（图 ID），以指定顶层应链接到哪些图。UMLS 大部分是以图结构组织的，因此构建起来相对容易。然而，MedC-K 必须被构建成图数据。您可以采用多种方法，例如我们在本仓库中用于处理顶层数据的方法（建议使用开源大模型以降低成本），或者选择非学习型的图构建算法（速度更快、成本更低，但通常噪声较大）。

示例数据集

考虑到获取和处理上述所有数据可能具有一定挑战性，我们正在努力提供更简单的示例数据集以展示功能。目前，我们使用 mimic_ex 这里 作为顶层数据，这是从 MIMIC 数据集中提取的经过处理的小规模数据集。对于中层和底层数据，我们正在寻找合适的替代方案以简化实现过程，欢迎提出任何建议。

1. 准备环境、Neo4j 和 LLM

1. conda env create -f medgraphrag.yml

2. 准备 Neo4j 和 LLM（此处以 ChatGPT 为例），您需要导出：

export OPENAI_API_KEY = your OPENAI_API_KEY

export NEO4J_URL= your NEO4J_URL

export NEO4J_USERNAME= your NEO4J_USERNAME

export NEO4J_PASSWORD= your NEO4J_PASSWORD

2. 构建图谱（以 “mimic_ex” 数据集为例）

1. 在 这里 下载 mimic_ex，将其放置在您的数据路径下，例如 ./dataset/mimic_ex

2. python run.py -dataset mimic_ex -data_path ./dataset/mimic_ex（您放置数据集的路径） -grained_chunk -ingraphmerge -construct_graph

3. 模型推理

1. 将您的提示语放入 ./prompt.txt

2. python run.py -dataset mimic_ex -data_path ./dataset/mimic_ex（您放置数据集的路径） -inference

致谢

我们基于 CAMEL 构建，这是一个用于构建多智能体流水线的强大框架。

引用

@article{wu2024medical,
  title={Medical Graph RAG: Towards Safe Medical Large Language Model via Graph Retrieval-Augmented Generation},
  author={Wu, Junde and Zhu, Jiayuan and Qi, Yunli},
  journal={arXiv preprint arXiv:2408.04187},
  year={2024}
}

Medical-Graph-RAG 快速上手指南

Medical-Graph-RAG 是一个专为医疗领域构建的图检索增强生成（Graph RAG）系统。本指南将帮助您快速搭建基础环境并运行一个简单的 Graph RAG 流程。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux 或 macOS（Windows 用户建议使用 WSL2 或 Docker）。
• Python 环境：推荐安装 Miniconda 以管理依赖。
• API 密钥：
  • OpenAI API Key：用于调用大语言模型（LLM）。
  • Neo4j 数据库：用于存储和查询图谱数据（需自行部署或使用云端实例）。
  • (可选) NCBI API Key：如果您使用基于 PubMed 的网络搜索功能。
• 硬件建议：构建完整图谱需要较大的内存和存储空间，建议至少 16GB RAM。

安装步骤

1. 创建 Conda 环境

克隆项目代码后，进入目录并使用提供的配置文件创建环境：

conda env create -f medgraphrag.yml
conda activate medgraphrag

2. 配置环境变量

根据您的使用场景，导出必要的 API 密钥和数据库连接信息。

基础模式（仅需 OpenAI）：

export OPENAI_API_KEY=your_openai_api_key

完整模式（需 OpenAI + Neo4j）：

export OPENAI_API_KEY=your_openai_api_key
export NEO4J_URL=your_neo4j_url
export NEO4J_USERNAME=your_neo4j_username
export NEO4J_PASSWORD=your_neo4j_password

基本使用

本项目提供两种运行模式：基线模式（Quick Start） 和 完整构建模式（Build from scratch）。

模式一：基线模式（最简单示例）

此模式使用内置的示例数据（./dataset_ex/report_0.txt）快速验证 Graph RAG 管道，无需配置外部数据集或 Neo4j。

1. 确保已设置 OPENAI_API_KEY。
2. 运行以下命令：

python run.py -simple True

说明：默认提示词为 "What is the main symptom of the patient?"。如需修改问题，请直接编辑 run.py 文件中的 prompt 部分。

模式二：完整构建流程（基于 MIMIC-EX 数据集）

此模式演示完整的图谱构建与推理流程，需要预先准备好 Neo4j 数据库。

1. 准备数据

下载示例数据集 mimic_ex 并放置到本地路径（例如 ./dataset/mimic_ex）：

• 下载地址：HuggingFace - Morson/mimic_ex

2. 构建图谱

执行以下命令将数据处理并存入 Neo4j：

python run.py -dataset mimic_ex -data_path ./dataset/mimic_ex -grained_chunk -ingraphmerge -construct_graph

3. 模型推理

将您的查询问题写入 ./prompt.txt 文件，然后运行推理：

python run.py -dataset mimic_ex -data_path ./dataset/mimic_ex -inference

---

注：若需体验免安装的 Web 演示，可使用 Docker 运行（需替换为您的 API Key）：

docker run -it --rm --storage-opt size=10G -p 7860:7860 \
-e OPENAI_API_KEY=your_key -e NCBI_API_KEY=your_key medrag-post