知识图谱构建器

利用大型语言模型（LLMs）和LangChain框架的强大功能，将非结构化数据（PDF、DOC、TXT、YouTube视频、网页等）转换为存储在Neo4j中的结构化知识图谱。

此应用程序允许您从各种来源（本地机器、GCS、S3存储桶或网络资源）上传文件，选择您偏好的LLM模型，并生成知识图谱。

快速入门

先决条件

• Python 3.12 或更高版本（用于本地/独立后端部署）
• Neo4j 数据库 5.23 或更高版本，并已安装 APOC。
  • 支持 Neo4j Aura 数据库（包括免费层）。
  • 如果使用 Neo4j Desktop，则需要分别部署后端和前端（不支持 docker-compose）。

后端设置

1. 在 backend 文件夹中复制 backend/example.env 创建一个 .env 文件。
2. 在 .env 文件中预先配置用户凭据以跳过登录对话框：

   NEO4J_URI=<your-neo4j-uri>
   NEO4J_USERNAME=<your-username>
   NEO4J_PASSWORD=<your-password>
   NEO4J_DATABASE=<your-database-name>
   

3. 运行：

   cd backend
   python3.12 -m venv venv
   source venv/bin/activate  # 在 Windows 上：venv\Scripts\activate
   pip install -r requirements.txt -c constraints.txt
   uvicorn score:app --reload
   

主要特性

知识图谱创建

• 利用先进的 LLM 将非结构化数据无缝转换为结构化的知识图谱。
• 提取节点、关系及其属性以创建结构化图谱。

模式支持

• 使用自定义模式或在设置中配置的现有模式来生成图谱。

图谱可视化

• 在 Neo4j Bloom 中同时查看特定或多个数据源的图谱。

与数据聊天

• 通过会话式查询与 Neo4j 数据库中的数据互动。
• 检索关于查询响应来源的元数据。
• 对于专用的聊天界面，请使用带有 /chat-only 路由的独立聊天应用程序。

支持的 LLMs

1. OpenAI
2. Gemini
3. Diffbot
4. Azure OpenAI（开发部署版本）
5. Anthropic（开发部署版本）
6. Fireworks（开发部署版本）
7. Groq（开发部署版本）
8. Amazon Bedrock（开发部署版本）
9. Ollama（开发部署版本）
10. Deepseek（开发部署版本）
11. 其他兼容 OpenAI 基础 URL 的模型（开发部署版本）

Token 使用跟踪

• 轻松监控和跟踪每个用户及数据库连接的 LLM token 使用情况。
• 通过在后端配置中将 TRACK_USER_USAGE 环境变量设置为 true 来启用此功能。
• 查看每日和每月的 token 消耗量及限额，帮助您管理使用情况并避免超额。
• 您可以随时使用提供的 API 端点检查剩余的 token 限额。

嵌入模型选择

• 从多种嵌入模型中选择，为您的数据生成向量嵌入。这可以在前端的 图谱设置 > 处理配置 > 选择嵌入模型 中进行配置。
• 支持的模型提供商包括 OpenAI、Gemini、Amazon Titan 和 Sentence Transformers。
• 当启用 TRACK_USER_USAGE 时，您选择的嵌入模型将保存到您的用户资料中。

本地配置

您可以通过两种方式在本地配置嵌入模型：

1. 启用用户跟踪（TRACK_USER_USAGE=true）：

   • 在后端 .env 文件中将 TRACK_USER_USAGE 设置为 true。
   • 提供您的 token 跟踪数据库凭据（TOKEN_TRACKER_DB_URI、TOKEN_TRACKER_DB_USERNAME 等）。
   • 从前端选择您想要的嵌入模型。您的选择将被保存并在后续会话中自动使用。

2. 禁用用户跟踪（TRACK_USER_USAGE=false）：

   • 将 TRACK_USER_USAGE 设置为 false。
   • 直接在后端 .env 文件中使用 EMBEDDING_MODEL 和 EMBEDDING_PROVIDER 指定嵌入模型和提供商。
   • 如果未设置这些变量，则应用程序默认使用 Sentence Transformer 模型。
   • 在此模式下，无法从前端更改嵌入模型。

---

快速入门

先决条件

• Neo4j 数据库 5.23 或更高版本，并已安装 APOC。
  • 支持 Neo4j Aura 数据库（包括免费层）。
  • 如果使用 Neo4j Desktop，则需要分别部署后端和前端（不支持 docker-compose）。

---

部署选项

本地部署

使用 Docker-Compose

使用默认的 docker-compose 配置运行应用程序。

1. 支持的 LLM 模型：
   默认情况下，仅启用 OpenAI 和 Diffbot。Gemini 需要额外的 GCP 配置。
   使用 VITE_LLM_MODELS_PROD 变量配置所需的模型。例如：

   VITE_LLM_MODELS_PROD="gemini_2.5_flash,openai_gpt_5_mini,diffbot,anthropic_claude_4.5_haiku"
   

2. 输入源：
   默认启用以下源：local、YouTube、Wikipedia、AWS S3 和 web。
   若要添加 Google Cloud Storage (GCS) 集成，请包含 gcs 和您的 Google 客户 ID：

   VITE_REACT_APP_SOURCES="local,youtube,wiki,s3,gcs,web"
   VITE_GOOGLE_CLIENT_ID="your-google-client-id"
   

聊天模式

使用 VITE_CHAT_MODES 变量配置聊天模式：

• 默认情况下，所有模式均启用：vector、graph_vector、graph、fulltext、graph_vector_fulltext、entity_vector 和 global_vector。
• 若要指定特定模式，请更新该变量。例如：

  VITE_CHAT_MODES="vector,graph"
  

---

分别运行后端和前端

在开发过程中，您可以独立运行后端和前端。

前端设置

1. 在 frontend 文件夹中复制 frontend/example.env 创建一个 .env 文件。
2. 根据需要更新环境变量。
3. 运行：

   cd frontend
     yarn
     yarn run dev
   

后端设置

1. 在 backend 文件夹中复制 backend/example.env 创建一个 .env 文件。
2. 在 .env 文件中预先配置用户凭据以跳过登录对话框：

   NEO4J_URI=<your-neo4j-uri>
   NEO4J_USERNAME=<your-username>
   NEO4J_PASSWORD=<your-password>
   NEO4J_DATABASE=<your-database-name>
   

3. 运行：

   cd backend
     python -m venv envName
     source envName/bin/activate
     pip install -r requirements.txt
     uvicorn score:app --reload
   

---

云部署

使用以下命令在 Google Cloud Platform 上部署应用程序：

前端部署

gcloud run deploy dev-frontend \
  --source . \
  --region us-central1 \
  --allow-unauthenticated

后端部署

gcloud run deploy dev-backend \
  --set-env-vars "OPENAI_API_KEY=<your-openai-api-key>" \
  --set-env-vars "DIFFBOT_API_KEY=<your-diffbot-api-key>" \
  --set-env-vars "NEO4J_URI=<your-neo4j-uri>" \
  --set-env-vars "NEO4J_USERNAME=<your-username>" \
  --set-env-vars "NEO4J_PASSWORD=<your-password>" \
  --source . \
  --region us-central1 \
  --allow-unauthenticated

---

对于本地大模型（Ollama）

1. 拉取 Ollama 的 Docker 镜像：

   docker pull ollama/ollama
   

2. 运行 Ollama 的 Docker 容器：

   docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
   

3. 执行任意大模型，例如 llama3：

   docker exec -it ollama ollama run llama3
   

4. 在 docker-compose 中配置环境变量：

   LLM_MODEL_CONFIG_ollama_<model_name>
   # 示例
   LLM_MODEL_CONFIG_ollama_llama3=${LLM_MODEL_CONFIG_ollama_llama3-llama3,http://host.docker.internal:11434}
   

5. 配置后端 API 地址：

   VITE_BACKEND_API_URL=${VITE_BACKEND_API_URL-backendurl}
   

6. 在浏览器中打开应用，并选择 Ollama 模型进行信息抽取。
7. 享受图谱构建的乐趣。

---

使用说明

1. 通过后端环境传递 URI 和密码、填写登录对话框，或直接拖放 Neo4j 凭证文件，连接到 Neo4j Aura 实例，包括 AURA DS 或 AURA DB。
2. 为便于区分，我们添加了不同图标：AURA DB 显示数据库图标，而 AURA DS 则在“Neo4j 连接详情”标签下方显示科学分子图标。
3. 从非结构化数据源列表中选择您的数据源，以创建图谱。
4. 如需更换大模型，可在下拉菜单中选择，该模型将用于生成图谱。
5. 您还可以在实体图谱提取设置中自定义模式（节点和关系标签）。
6. 您可以选择多个文件来“生成图谱”，或者对所有状态为“新建”的文件进行图谱创建处理。
7. 在网格中使用“查看”功能查看单个文件的图谱，或选择一个或多个文件并点击“预览图谱”。
8. 向聊天机器人提问与已处理/已完成数据源相关的问题，同时获取由大模型生成的答案的详细信息。

---

环境变量

环境变量名称	必填/可选	默认值	描述
后端环境
OPENAI_API_KEY	可选		使用 OpenAI LLM 模型时，需要提供 OpenAI API 密钥以进行身份验证和请求跟踪
DIFFBOT_API_KEY	必填		使用 Diffbot 的 NLP 服务从非结构化数据中提取实体和关系时，需要提供 API 密钥
BUCKET_UPLOAD_FILE	可选		用于在 GCS 上存储上传文件的存储桶名称
BUCKET_FAILED_FILE	可选		用于在 GCS 上存储提取失败文件的存储桶名称
NEO4J_USER_AGENT	可选	llm-graph-builder	用于跟踪 Neo4j 数据库活动的用户代理名称
ENABLE_USER_AGENT	可选	true	用于启用或禁用 Neo4j 用户代理的布尔值
DUPLICATE_TEXT_DISTANCE	可选	5	此值用于计算图中所有节点对之间的距离，并基于节点属性进行计算
DUPLICATE_SCORE_VALUE	可选	0.97	用于匹配重复节点的节点得分值
EFFECTIVE_SEARCH_RATIO	可选	1	用于有效搜索计算的比率
GRAPH_CLEANUP_MODEL	可选	openai_gpt_5_mini	用于后处理阶段清理图的模型名称
MAX_TOKEN_CHUNK_SIZE	可选	10000	处理文件内容时的最大令牌大小
YOUTUBE_TRANSCRIPT_PROXY	必填		用于处理 YouTube 视频以获取字幕的代理密钥
IS_EMBEDDING	可选	true	用于启用文本嵌入的标志
KNN_MIN_SCORE	可选	0.8	KNN 算法的最小得分阈值
GCP_LOG_METRICS_ENABLED	可选	False	用于启用 Google Cloud 日志记录的标志
NEO4J_URI	可选	neo4j://database:7687	Neo4j 数据库的 URI
NEO4J_USERNAME	可选	neo4j	Neo4j 数据库的用户名
NEO4J_PASSWORD	可选	password	Neo4j 数据库的密码
GCS_FILE_CACHE	可选	False	如果设置为 True，将要处理的文件保存到 GCS；如果为 False，则将文件保存在本地
ENTITY_EMBEDDING	可选	False	如果设置为 True，将在数据库中为每个实体添加嵌入向量
LLM_MODEL_CONFIG_ollama_	可选		用于本地部署时设置 Ollama 配置：model_name, model_local_url
前端环境
VITE_BLOOM_URL	必填	Bloom URL	Bloom 可视化界面的 URL
VITE_REACT_APP_SOURCES	必填	local,youtube,wiki,s3	可用的输入源列表
VITE_CHAT_MODES	必填	vector,graph+vector,graph,hybrid	可供问答使用的聊天模式
VITE_ENV	必填	DEV 或 PROD	应用程序的环境变量
VITE_LLM_MODELS	可选	openai_gpt_5_mini,gemini_2.5_flash,anthropic_claude_4.5_haiku	应用程序支持的模型
VITE_BACKEND_API_URL	可选	localhost	后端 API 的 URL
VITE_TIME_PER_PAGE	可选	50	每页处理所需的时间
VITE_CHUNK_SIZE	可选	5242880	上传文件时每个分块的大小
VITE_GOOGLE_CLIENT_ID	可选		用于 Google 身份验证的客户端 ID
VITE_LLM_MODELS_PROD	可选	openai_gpt_5_mini,gemini_2.5_flash,anthropic_claude_4.5_haiku	根据环境（PROD 或 DEV）区分模型
VITE_AUTH0_CLIENT_ID	必填，若启用身份验证；否则可选		Okta OAuth 客户端 ID，用于身份验证
VITE_AUTH0_DOMAIN	必填，若启用身份验证；否则可选		Okta OAuth 客户端域名
VITE_SKIP_AUTH	可选	true	用于跳过身份验证的标志
VITE_CHUNK_OVERLAP	可选	20	用于配置分块重叠的变量
VITE_TOKENS_PER_CHUNK	可选	100	用于配置每个分块中的令牌数量。这为用户提供了灵活性，可根据不同的分词任务需求调整分块大小
VITE_CHUNK_TO_COMBINE	可选	1	用于配置并行处理时要合并的分块数量

示例环境文件

请参阅示例环境文件，以获取更多变量和配置：

• 后端示例 .env
• 前端示例 .env

---

云构建部署

您可以使用 Cloud Build 将后端和前端部署到 Google Cloud Run，既可以手动操作，也可以通过自动化触发器来实现。

自动化部署（推荐）

1. 将您的仓库连接到 Google Cloud Build：

   • 在 Google Cloud 控制台中，转到 Cloud Build > 触发器。
   • 创建一个新的触发器并选择您的仓库。
   • 设置触发器在推送到您希望的分支（main、staging 或 dev）时运行。
   • Cloud Build 将自动使用您仓库根目录下的 cloudbuild.yaml 文件。

2. 配置替换参数和密钥：

   • 在触发器设置中，添加所需的替换参数（例如 _OPENAI_API_KEY、_DIFFBOT_API_KEY 等），作为环境变量，或使用 Secret Manager 来管理敏感数据。

3. 推送代码：

   • 当您推送到配置的分支时，Cloud Build 将根据 cloudbuild.yaml 中定义的步骤，构建并将您的后端（以及可选的前端）部署到 Cloud Run。

手动部署

1. 设置 Google Cloud SDK 并进行身份验证：

   gcloud auth login
   gcloud config set project <YOUR_PROJECT_ID>
   

2. 手动运行 Cloud Build：

   gcloud builds submit --config cloudbuild.yaml \
     --substitutions=_REGION=us-central1,_REPO=cloud-run-repo,_OPENAI_API_KEY=<your-openai-key>,_DIFFBOT_API_KEY=<your-diffbot-key>,_BUCKET_UPLOAD_FILE=<your-bucket>,_BUCKET_FAILED_FILE=<your-bucket>,_PROJECT_ID=<your-project-id>,_GCS_FILE_CACHE=False,_TRACK_USER_USAGE=False,_TOKEN_TRACKER_DB_URI=...,_TOKEN_TRACKER_DB_USERNAME=...,_TOKEN_TRACKER_DB_PASSWORD=...,_TOKEN_TRACKER_DB_DATABASE=...,_DEFAULT_DIFFBOT_CHAT_MODEL=...,_YOUTUBE_TRANSCRIPT_PROXY=...,_EMBEDDING_MODEL=...,
     _EMBEDDING_PROVIDER=...,_BEDROCK_EMBEDDING_MODEL_KEY=...,_LLM_MODEL_CONFIG_OPENAI_GPT_5_2=...,_LLM_MODEL_CONFIG_OPENAI_GPT_5_MINI=...,_LLM_MODEL_CONFIG_GEMINI_2_5_FLASH=...,_LLM_MODEL_CONFIG_GEMINI_2_5_PRO=...,_LLM_MODEL_CONFIG_DIFFBOT=...,_LLM_MODEL_CONFIG_GROQ_LLAMA3_1_8B=...,_LLM_MODEL_CONFIG_ANTHROPIC_CLAUDE_4_5_SONNET=...,_LLM_MODEL_CONFIG_ANTHROPIC_CLAUDE_4_5_HAIKU=...,_LLM_MODEL_CONFIG_LLAMA4_MAVERICK=...,_LLM_MODEL_CONFIG_FIREWORKS_QWEN3_30B=...,_LLM_MODEL_CONFIG_FIREWORKS_GPT_OSS=...,_LLM_MODEL_CONFIG_FIREWORKS_DEEPSEEK_V3=...,_LLM_MODEL_CONFIG_BEDROCK_NOVA_MICRO_V1=...,_LLM_MODEL_CONFIG_BEDROCK_NOVA_LITE_V1=...,_LLM_MODEL_CONFIG_BEDROCK_NOVA_PRO_V1=...,_LLM_MODEL_CONFIG_OLLAMA_LLAMA3=...
   

   • 将尖括号中的值替换为您实际的配置和密钥。
   • 您可以根据需要省略或添加替换参数。

3. 监控构建过程：

   • 构建和部署过程将在 Cloud Build 控制台中显示。

4. 访问已部署的服务：

   • 部署完成后，您的后端服务将可通过 Cloud Run 服务 URL 访问，该 URL 将显示在 Cloud 控制台中。

---

注意：

• cloudbuild.yaml 文件支持基于分支名称的多个环境（main、staging、dev）。
• 前端的构建和部署步骤默认被注释掉。如果您也想部署前端，请在 cloudbuild.yaml 中取消注释相关部分。

更多详细信息，请参阅 cloudbuild.yaml 中的注释。

---

链接

LLM 知识图谱构建应用

Neo4j Workspace

参考

应用演示视频

联系方式

如有任何疑问或需要支持，请随时提交 GitHub Issues。

祝您构建愉快！

llm-graph-builder 快速上手指南

llm-graph-builder 是一个基于 LLM 和 LangChain 的工具，可将非结构化数据（PDF、文档、YouTube 视频、网页等）转换为存储在 Neo4j 中的结构化知识图谱。

环境准备

系统要求

• Python: 3.12 或更高版本
• Node.js & Yarn: 用于前端构建（若单独部署前端）
• Docker & Docker Compose: 推荐用于快速部署

前置依赖

• Neo4j 数据库: 版本 5.23 或更高，且必须安装 APOC 插件。
  • 支持 Neo4j Aura (含免费版)。
  • 若使用 Neo4j Desktop，需分别部署前后端（不支持 docker-compose）。
• API Keys: 根据选择的模型准备相应的密钥（如 OpenAI API Key, Diffbot API Key 等）。

安装步骤

推荐使用 Docker Compose 进行一键部署，这是最简便的方式。

方式一：使用 Docker Compose (推荐)

1. 配置环境变量 在项目根目录创建 .env 文件（可参考 example.env），配置必要的参数。

   默认仅启用 OpenAI 和 Diffbot，如需启用其他模型或数据源，请参考以下配置示例：

   # 启用多种 LLM 模型 (例如：Gemini, OpenAI, Diffbot, Anthropic)
   VITE_LLM_MODELS_PROD="gemini_2.5_flash,openai_gpt_5_mini,diffbot,anthropic_claude_4.5_haiku"
   
   # 启用数据源 (本地、YouTube、Wikipedia、S3、GCS、Web)
   # 若需 GCS 支持，请填入 Google Client ID
   VITE_REACT_APP_SOURCES="local,youtube,wiki,s3,gcs,web"
   VITE_GOOGLE_CLIENT_ID="your-google-client-id"
   
   # 配置聊天模式 (默认全开，可按需精简)
   VITE_CHAT_MODES="vector,graph"
   

2. 启动服务 在终端执行以下命令启动后端和前端：

   docker-compose up -d
   

方式二：本地分离部署 (开发模式)

若需修改代码或调试，可分别启动前后端。

1. 后端设置

cd backend
# 复制环境变量模板
cp example.env .env
# 编辑 .env 文件，填入 Neo4j 连接信息及 API Keys

# 创建虚拟环境
python3.12 -m venv venv
source venv/bin/activate  # Windows: venv\Scripts\activate

# 安装依赖
pip install -r requirements.txt -c constraints.txt

# 启动后端服务
uvicorn score:app --reload

2. 前端设置

cd frontend
# 复制环境变量模板
cp example.env .env
# 根据需要修改 VITE_BACKEND_API_URL 等配置

# 安装依赖并启动
yarn
yarn run dev

3. 本地运行 Ollama (可选)

若需使用本地大模型（如 Llama3）：

# 拉取并运行 Ollama 容器
docker pull ollama/ollama
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

# 下载模型
docker exec -it ollama ollama run llama3

# 在 docker-compose 或 .env 中配置模型地址
# 示例：LLM_MODEL_CONFIG_ollama_llama3=llama3,http://host.docker.internal:11434

基本使用

1. 连接数据库

   • 打开浏览器访问应用地址（Docker 默认为 http://localhost:8080 或前端配置的端口）。
   • 在登录界面输入 Neo4j URI、用户名、密码 和 数据库名称。
   • 或者直接拖拽 Neo4j 凭证文件进行连接。
   • 注：界面会通过图标区分 Aura DB（数据库图标）和 Aura DS（分子图标）。

2. 上传数据源

   • 选择数据来源：支持本地文件上传、YouTube 链接、Wikipedia、AWS S3、GCS 或网页 URL。
   • 上传后文件状态显示为 "New"。

3. 配置生成参数

   • 选择 LLM: 从下拉菜单中选择用于提取知识的模型（如 OpenAI GPT-4, Gemini 等）。
   • 定义 Schema (可选): 在设置中预定义节点和关系标签，以规范图谱结构。
   • 嵌入模型: 在 Graph Settings > Processing Configuration 中选择向量嵌入模型（如 OpenAI, Sentence Transformers）。

4. 生成知识图谱

   • 选中一个或多个文件，点击 "Generate Graph"。
   • 系统将自动提取实体、关系及属性，并写入 Neo4j。

5. 可视化与问答

   • 查看图谱: 点击文件列表中的 "View" 或选中多个文件点击 "Preview Graph"，将在 Neo4j Bloom 中展示图谱。
   • 对话查询: 在聊天框中输入问题（例如：“总结这些文档的核心观点”），系统将基于图谱内容回答，并提供来源溯源。
   • 若需独立聊天界面，可访问 /chat-only 路由。

6. 监控用量 (可选)

   • 若在 .env 中设置 TRACK_USER_USAGE=true 并配置 Token 追踪数据库，可在界面查看每日/每月的 Token 消耗及剩余限额。