---

[!IMPORTANT]
📋 从 v2.0 到 v2.1 及更高版本的更新：

1. 文档处理升级：已将 Unstructured.io 替换为 Docling，用于解析文档并提取文本、表格和图像以进行嵌入。
2. 增强的 RAG 参考信息：在本地存储中重新排序后的检索片段底部，添加了指向源文档和参考图像的链接，这些链接会显示在 RAG 响应中。

如需使用基于 Unstructured.io 的解决方案，请参阅发布版本 - v2.0。

📚 目录

• 概述
• 演示
• 技术流程图
• 关键特性
• 技术栈
• 安装与设置
  • 使用 Docker
  • 手动安装
• 使用方法
• 贡献
• 许可证
• 引用
• 联系方式

---

📌 概述

多智能体医疗助手是一款基于AI的聊天机器人，旨在协助进行医学诊断、研究以及患者互动。

🚀 由多智能体智能驱动，该系统集成了：

• 🤖 大型语言模型 (LLMs)
• 🖼️ 计算机视觉模型，用于医学影像分析
• 📚 检索增强生成 (RAG)，利用向量数据库
• 🌐 实时网络搜索，以获取最新的医学见解
• 👨‍⚕️ 人工参与验证，用于核实基于AI的医学影像诊断结果

您将从该项目中学到的内容 📖

🔹 👨‍💻 多智能体编排，采用结构化的图工作流
🔹 🔍 高级 RAG 技术——混合检索、语义分块和向量搜索
🔹 ⚡ 基于置信度的路由及智能体之间的交接
🔹 🔒 可扩展、生产就绪的AI，具有模块化代码和强大的异常处理机制

📂 对于学习者：请查看 agents/README.md，了解关于智能体工作流的详细分解！ 🎯

---

💫 演示

https://github.com/user-attachments/assets/d27d4a2e-1c7d-45e2-bbc5-b3d95ccd5b35

如果您喜欢这里的内容并希望支持该项目的开发者，您可以点击 ! :)

📂 如需更详细的演示视频：请查看 Multi-Agent-Medical-Assistant-v1.9。 📽️

---

🛡️ 技术流程图

---

✨ 核心功能

• 🤖 多智能体架构：各专业智能体协同工作，完成诊断、信息检索、推理等任务

• 🔍 先进的代理式RAG检索系统：

  • 基于Docling的解析，从PDF中提取文本、表格和图像。
  • 对Markdown格式的文本、表格以及LLM生成的图像摘要进行嵌入。
  • LLM驱动的语义分块，并结合结构边界感知。
  • LLM驱动的查询扩展，引入相关医学领域术语。
  • Qdrant混合搜索，结合BM25稀疏关键词检索与稠密向量检索。
  • 使用HuggingFace Cross-Encoder对检索到的文档片段进行重排序，以确保LLM响应的准确性。
  • 输入输出约束机制，保证响应的安全性和相关性。
  • 检索结果中附带参考文档片段中的源文档链接及图片。
  • 基于置信度的智能体间交接机制，在RAG与网络搜索之间切换，防止幻觉产生。

• 🏥 医学影像分析

  • 脑肿瘤检测（待开发）
  • 胸部X光疾病分类
  • 面部皮肤病变分割

• 🌐 实时研究整合：网络搜索智能体可获取最新的医学研究论文和发现

• 📊 基于置信度的验证：通过对数似然概率的分析，确保医疗建议的高度准确性

• 🎙️ 语音交互能力：通过Eleven Labs API实现流畅的语音转文本和文本转语音功能

• 👩‍⚕️ 专家监督系统：在最终输出前由医疗专业人士进行人工审核

• ⚔️ 输入输出约束机制：确保医疗响应安全、公正且可靠，同时过滤有害或误导性内容

• 💻 直观用户界面：专为技术背景较浅的医护人员设计

[!NOTE]
即将推出的功能：

1. 脑肿瘤医学计算机视觉模型集成。
2. 欢迎提出建议和贡献。

---

🛠️ 技术栈

组件	技术
🔹 后端框架	FastAPI
🔹 智能体编排	LangGraph
🔹 文档解析	Docling
🔹 知识存储	Qdrant向量数据库
🔹 医学影像	计算机视觉模型
	• 脑肿瘤：目标检测（PyTorch）
	• 胸部X光：图像分类（PyTorch）
	• 皮肤病变：语义分割（PyTorch）
🔹 约束机制	LangChain
🔹 语音处理	Eleven Labs API
🔹 前端	HTML, CSS, JavaScript
🔹 部署	Docker, GitHub Actions CI/CD

---

🚀 安装与设置

📌 选项1：使用Docker

前提条件：

• 系统已安装Docker
• 所需服务的API密钥

1️⃣ 克隆仓库

git clone https://github.com/souvikmajumder26/Multi-Agent-Medical-Assistant.git
cd Multi-Agent-Medical-Assistant

2️⃣ 创建环境文件

• 在根目录下创建.env文件，并添加以下API密钥：

[!NOTE]
您可以使用任何您选择的LLM和嵌入模型...

1. 如果使用Azure OpenAI，则无需修改。
2. 如果直接使用OpenAI，请修改config.py中的LLM和嵌入模型定义，并提供相应的环境变量。
3. 如果使用本地模型，可能需要在整个代码库中进行适当的代码更改，尤其是在“agents”部分。 [!WARNING]
   请确保.env文件中的API密钥正确无误，并具备必要的权限。 变量名后不得有空格。

# LLM配置（开发中使用Azure Open AI - gpt-4o）
# 如果使用其他LLM API密钥或本地LLM，需进行相应代码修改
deployment_name= 
model_name=gpt-4o
azure_endpoint=
openai_api_key=
openai_api_version=

# 嵌入模型配置（开发中使用Azure Open AI - text-embedding-ada-002）
# 如果使用其他嵌入模型，需进行相应代码修改
embedding_deployment_name=
embedding_model_name=text-embedding-ada-002
embedding_azure_endpoint=
embedding_openai_api_key=
embedding_openai_api_version=

# 语音API密钥（新注册Eleven Labs账户可获得免费额度）
ELEVEN_LABS_API_KEY=

# 网络搜索API密钥（新注册Tavily账户可获得免费额度）
TAVILY_API_KEY=

# Hugging Face Token - 使用reranker模型 "ms-marco-TinyBERT-L-6"
HUGGINGFACE_TOKEN=

# （可选）如果使用Qdrant服务器版本，本地部署则无需API密钥
QDRANT_URL=
QDRANT_API_KEY=

3️⃣ 构建Docker镜像

docker build -t medical-assistant .

4️⃣ 运行Docker容器

docker run -d --name medical-assistant-app -p 8000:8000 --env-file .env medical-assistant

应用将可通过http://localhost:8000访问。

5️⃣ 从Docker容器中将数据导入向量数据库

• 导入单个文档：

docker exec medical-assistant-app python ingest_rag_data.py --file ./data/raw/brain_tumors_ucni.pdf

• 导入目录下的多个文档：

docker exec medical-assistant-app python ingest_rag_data.py --dir ./data/raw

容器管理：

停止容器

docker stop medical-assistant-app

启动容器

docker start medical-assistant-app

查看日志

docker logs medical-assistant-app

删除容器

docker rm medical-assistant-app

故障排除：

容器健康检查

容器内置了健康检查功能，可监控应用状态。您可以通过以下命令查看健康状态：

docker inspect --format='{{.State.Health.Status}}' medical-assistant-app

容器无法启动

若容器未能成功启动，请查看日志以排查错误：

docker logs medical-assistant-app

📌 选项2：不使用Docker

1️⃣ 克隆仓库

git clone https://github.com/souvikmajumder26/Multi-Agent-Medical-Assistant.git  
cd Multi-Agent-Medical-Assistant  

2️⃣ 创建并激活虚拟环境

• 如果使用 conda：

conda create --name <environment-name> python=3.11
conda activate <environment-name>

• 如果使用 Python venv：

python -m venv <environment-name>
source <environment-name>/bin/activate  # 对于 Mac/Linux
<environment-name>\Scripts\activate     # 对于 Windows  

3️⃣ 安装依赖

[!IMPORTANT]
需要安装 ffmpeg 才能使语音服务正常工作。

• 如果使用 conda：

conda install -c conda-forge ffmpeg

pip install -r requirements.txt  

• 如果使用 Python venv：

winget install ffmpeg

pip install -r requirements.txt  

4️⃣ 设置 API 密钥

• 创建一个 .env 文件，并按照 Option 1 中所示添加所需的 API 密钥。

5️⃣ 运行应用程序

• 在激活的环境中运行以下命令。

python app.py

应用程序将可在以下地址访问：http://localhost:8000

6️⃣ 向向量数据库中导入额外数据

根据需要运行以下任一命令。

• 每次导入一份文档：

python ingest_rag_data.py --file ./data/raw/brain_tumors_ucni.pdf

• 从目录中批量导入文档：

python ingest_rag_data.py --dir ./data/raw

---

🧠 使用方法

[!NOTE]

1. 第一次运行可能会有些卡顿并出现错误，请耐心等待，并查看控制台以了解下载和安装的进度。
2. 第一次运行时会下载许多模型，例如用于 Tesseract OCR 的 YOLO 模型、计算机视觉代理模型、交叉编码器重排序模型等。
3. 下载完成后请再次尝试，所有功能应该都能顺利运行，因为这些功能都经过了充分测试。

• 上传医学图像以进行 基于 AI 的诊断。可以使用特定任务的计算机视觉模型代理——从“sample_images”文件夹中上传图像进行尝试。
• 提出医学相关问题，利用 检索增强生成（RAG） 技术获取记忆中的信息，或通过 网络搜索 获取最新信息。
• 使用 基于语音 的交互方式（语音转文本和文本转语音）。
• 通过 人工参与验证 来审查 AI 生成的见解。

---

🤝 贡献

欢迎各位贡献！请查看 issues 标签页，了解功能请求和改进建议。

---

⚖️ 许可证

本项目采用 Apache-2.0 许可证。详细信息请参阅 LICENSE 文件。

---

📝 引用

@misc{Souvik2025,
  Author = {Souvik Majumder},
  Title = {多智能体医疗助手},
  Year = {2025},
  Publisher = {GitHub},
  Journal = {GitHub 仓库},
  Howpublished = {\url{https://github.com/souvikmajumder26/Multi-Agent-Medical-Assistant}}
}

---

📬 联系方式

如有任何问题或合作意向，请联系 Souvik Majumder：

🔗 LinkedIn: https://www.linkedin.com/in/souvikmajumder26

🔗 GitHub: https://github.com/souvikmajumder26

🔝 返回顶部

---

Multi-Agent-Medical-Assistant 快速上手指南

Multi-Agent-Medical-Assistant 是一个基于 AI 的多智能体医疗辅助系统，集成了大语言模型（LLM）、计算机视觉、检索增强生成（RAG）和实时网络搜索，旨在协助医疗诊断、研究和患者互动。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux, macOS 或 Windows (需安装 Docker Desktop)
• Docker: 已安装并运行 Docker
• Git: 用于克隆代码仓库
• API Keys: 您需要准备以下服务的 API 密钥：
  • LLM & Embedding: Azure OpenAI (推荐) 或 OpenAI (需修改配置)
  • 语音交互: Eleven Labs
  • 网络搜索: Tavily
  • 重排序模型: Hugging Face
  • 向量数据库: Qdrant (本地运行无需 Key，云端需 URL 和 Key)

注意：本项目开发阶段主要使用 Azure OpenAI (gpt-4o 和 text-embedding-ada-002)。若使用其他模型（如本地模型或直接调用 OpenAI），需手动修改 config.py 及相关智能体代码。

安装步骤

1. 克隆项目

打开终端，执行以下命令获取源代码：

git clone https://github.com/souvikmajumder26/Multi-Agent-Medical-Assistant.git
cd Multi-Agent-Medical-Assistant

2. 配置环境变量

在项目根目录下创建 .env 文件，并填入您的 API 密钥。注意变量名后不要有多余空格。

touch .env

编辑 .env 文件，参考以下内容填写：

# LLM 配置 (默认使用 Azure OpenAI gpt-4o)
deployment_name= 
model_name=gpt-4o
azure_endpoint=
openai_api_key=
openai_api_version=

# Embedding 模型配置 (默认使用 Azure OpenAI text-embedding-ada-002)
embedding_deployment_name=
embedding_model_name=text-embedding-ada-002
embedding_azure_endpoint=
embedding_openai_api_key=
embedding_openai_api_version=

# 语音 API (Eleven Labs)
ELEVEN_LABS_API_KEY=

# 网络搜索 API (Tavily)
TAVILY_API_KEY=

# Hugging Face Token (用于重排序模型 ms-marco-TinyBERT-L-6)
HUGGINGFACE_TOKEN=

# Qdrant 配置 (本地运行可不填，云端需填写)
QDRANT_URL=
QDRANT_API_KEY=

3. 构建 Docker 镜像

在项目根目录执行以下命令构建镜像：

docker build -t medical-assistant .

4. 运行容器

构建完成后，启动容器并映射端口（默认映射到 8000 端口）：

docker run -p 8000:8000 --env-file .env medical-assistant

提示：如果是首次运行，系统可能会自动下载 Docling 解析器所需的模型和 Qdrant 数据。请确保网络连接畅通。国内用户若遇到下载缓慢，可尝试配置相关模型的国内镜像源（如 Hugging Face 镜像）。

基本使用

服务启动成功后，您可以通过浏览器访问内置的用户界面或与 API 进行交互。

方式一：使用 Web 界面

在浏览器中打开以下地址：

http://localhost:8000

您将看到一个专为医疗专业人员设计的直观界面。您可以：

1. 上传医疗文档：支持 PDF 格式，系统将利用 Docling 提取文本、表格和图片。
2. 上传医学影像：支持胸部 X 光片或皮肤病变图片进行分析。
3. 发起对话：输入医疗相关问题，系统将调动多个智能体（诊断、检索、推理）并提供带来源引用的回答。

方式二：调用 API

如果您希望通过代码集成，可以发送 POST 请求到 FastAPI 端点。示例如下：

curl -X POST "http://localhost:8000/chat" \
     -H "Content-Type: application/json" \
     -d '{"message": "分析这张胸部 X 光片可能的疾病", "image_path": "/path/to/image.jpg"}'

系统返回的结果将包含诊断建议、置信度评分以及参考文档的链接。