🤖 MedRAX：用于胸部X光片的医学推理代理

摘要

胸部X光片（CXR）在疾病管理和患者护理中的关键决策中发挥着不可或缺的作用。尽管近年来涌现出针对各种CXO解读任务的专用模型，但这些解决方案往往彼此孤立，限制了其在临床实践中的实际效用。我们提出了MedRAX，这是首个将最先进的CXO分析工具和多模态大型语言模型无缝集成到统一框架中的多功能AI代理。MedRAX能够动态地利用这些模型来解决复杂的医疗问题，而无需额外的训练。为了严格评估其能力，我们推出了ChestAgentBench，一个包含7个不同类别共2,500个复杂医疗问题的综合基准测试。实验结果表明，与开源和专有模型相比，MedRAX达到了最先进的性能，这标志着自动化CXO解读系统向实际部署迈出了重要一步。

MedRAX

MedRAX建立在坚实的技术基础上：

• 核心架构：基于LangChain和LangGraph框架构建
• 语言模型：以具备视觉能力的GPT-4o作为骨干LLM
• 部署方式：支持本地和云端部署
• 界面：使用Gradio构建的生产就绪界面
• 模块化设计：工具无关的架构，便于集成新功能

集成工具

• 视觉问答：采用CheXagent和LLaVA-Med进行复杂的视觉理解和医学推理
• 分割：使用MedSAM和基于ChestX-Det数据集训练的PSPNet模型，实现精确的解剖结构识别
• 定位：借助Maira-2在医学图像中精确定位特定发现
• 报告生成：实施基于CheXpert Plus数据集训练的SwinV2 Transformer，用于生成详细的医学报告
• 疾病分类：利用TorchXRayVision中的DenseNet-121检测18种病理类型
• X光片生成：使用RoentGen进行合成CXO生成
• 实用工具：包括DICOM处理、可视化工具以及自定义绘图功能

ChestAgentBench

我们推出了ChestAgentBench，这是一个包含7个类别共2,500个复杂医疗问题的综合评估框架，基于675例专家精选的临床病例构建而成。该基准测试通过以下方面评估CXO解读中的复杂多步推理：

• 检测
• 分类
• 定位
• 比较
• 关系
• 诊断
• 特征描述

下载基准测试：ChestAgentBench on Hugging Face

huggingface-cli download wanglab/chestagentbench --repo-type dataset --local-dir chestagentbench

将Eurorad图片解压到本地MedMAX目录。

unzip chestagentbench/figures.zip

若使用GPT-4o进行评估，请设置您的OpenAI API密钥并运行快速入门脚本。

export OPENAI_API_KEY="<your-openai-api-key>"
python quickstart.py \
    --model chatgpt-4o-latest \
    --temperature 0.2 \
    --max-cases 2 \
    --log-prefix chatgpt-4o-latest \
    --use-urls

安装

前置条件

• Python 3.8及以上版本
• 为获得最佳性能，建议使用CUDA/GPU

安装步骤

# 克隆仓库
git clone https://github.com/bowang-lab/MedRAX.git
cd MedRAX

# 安装包
pip install -e .

开始使用

# 启动Gradio界面
python main.py

或者如果遇到权限问题

sudo -E env "PATH=$PATH" python main.py

您需要在main.py中设置model_dir，指向您希望下载或已有的上述工具的Hugging Face权重目录。 请注释掉您无法访问的工具。 务必在.env文件中设置您的OpenAI API密钥！

工具选择与初始化

MedRAX支持选择性工具初始化，允许您仅使用所需的工具。工具可以在初始化代理时指定（参见main.py）：

selected_tools = [
    "ImageVisualizerTool",
    "ChestXRayClassifierTool",
    "ChestXRaySegmentationTool",
    # 根据需要添加或移除工具
]

agent, tools_dict = initialize_agent(
    "medrax/docs/system_prompts.txt",
    tools_to_use=selected_tools,
    model_dir="/model-weights"
)

自动下载的模型

以下工具在初始化时会自动下载其模型权重：

分类工具

ChestXRayClassifierTool(device=device)

分割工具

ChestXRaySegmentationTool(device=device)

定位工具

XRayPhraseGroundingTool(
    cache_dir=model_dir, 
    temp_dir=temp_dir, 
    load_in_8bit=True, 
    device=device
)

• Maira-2权重会下载到指定的cache_dir
• 提供8位和4位量化选项，以减少内存占用

LLaVA-Med工具

LlavaMedTool(
    cache_dir=model_dir, 
    device=device, 
    load_in_8bit=True
)

• 自动下载权重至cache_dir
• 提供8位和4位量化选项，以减少内存占用

报告生成工具

ChestXRayReportGeneratorTool(
    cache_dir=model_dir, 
    device=device
)

视觉问答工具

XRayVQATool(
    cache_dir=model_dir, 
    device=device
)

• CheXagent权重会自动下载

MedSAM工具

MedSAM分割功能将在未来的更新中加入。

实用工具

无需额外的模型权重：

ImageVisualizerTool()
DicomProcessorTool(temp_dir=temp_dir)

需要手动设置的工具

图像生成工具

ChestXRayGeneratorTool(
    model_path=f"{model_dir}/roentgen", 
    temp_dir=temp_dir, 
    device=device
)

• RoentGen权重需要手动设置：
  1. 联系作者：https://github.com/StanfordMIMI/RoentGen
  2. 将权重放置在{model_dir}/roentgen
  3. 该工具为可选，如不需要可将其排除

配置注意事项

必需参数

• model_dir或cache_dir：Hugging Face使用的模型权重基础目录
• temp_dir：临时文件目录
• device：“cuda”表示使用GPU，“cpu”表示仅使用CPU

内存管理

• 针对资源限制，考虑选择性地初始化工具
• 在可用的情况下使用8位量化
• 某些工具（LLaVA-Med、Grounding）对资源的需求较高

本地大模型

如果您正在使用如Ollama或LM Studio等框架运行本地大模型，则需要相应地配置环境变量。例如：

export OPENAI_BASE_URL="http://localhost:11434/v1"
export OPENAI_API_KEY="ollama"

可选：兼容OpenAI的提供商

MedRAX支持兼容OpenAI的API，允许区域或本地的大模型提供商作为替代后端。

例如，要通过阿里云DashScope使用Qwen3-VL，请设置以下环境变量：

export OPENAI_BASE_URL="https://dashscope.aliyuncs.com/compatible-mode/v1"
export OPENAI_API_KEY="<您的DashScope API密钥>"
export OPENAI_MODEL="qwen3-vl-235b-a22b-instruct"

星标历史

作者

• Adibvafa Fallahpour¹²³⁴ * (adibvafa.fallahpour@mail.utoronto.ca)
• Jun Ma²³ *
• Alif Munim³⁵ *
• Hongwei Lyu³
• Bo Wang¹²³⁶

¹ 多伦多大学计算机科学系，加拿大多伦多市
² Vector Institute，加拿大多伦多市
³ 多伦多大学健康网络，加拿大多伦多市
⁴ Cohere，加拿大多伦多市
⁵ Cohere Labs，加拿大多伦多市
⁶ 多伦多大学检验医学与病理生物学系，加拿大多伦多市

* 共同贡献

引用

如果您觉得这项工作有用，请引用我们的论文：

@misc{fallahpour2025medraxmedicalreasoningagent,
      title={MedRAX：用于胸部X光片的医学推理代理}, 
      author={Adibvafa Fallahpour、Jun Ma、Alif Munim、Hongwei Lyu和Bo Wang},
      year={2025},
      eprint={2502.02673},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/2502.02673}, 
}

---

由多伦多大学、Vector Institute和多伦多大学健康网络倾情打造

MedRAX 快速上手指南

MedRAX 是一个专为胸部 X 光（CXR）设计的医疗推理智能体，集成了多种先进的医学影像分析工具和多模态大语言模型，无需额外训练即可处理复杂的医疗查询。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux / macOS / Windows (推荐 Linux)
• Python 版本: 3.8 或更高
• 硬件加速: 强烈建议配备 NVIDIA GPU 并安装 CUDA，以获得最佳性能（部分模型显存需求较高）。
• API 密钥:
  • 默认使用 OpenAI API (GPT-4o)，需准备 OPENAI_API_KEY。
  • 支持国内兼容接口（如阿里云 DashScope/Qwen），需准备对应的 OPENAI_BASE_URL 和 API_KEY。

安装步骤

1. 克隆仓库

git clone https://github.com/bowang-lab/MedRAX.git
cd MedRAX

2. 安装依赖

建议使用虚拟环境进行安装。

pip install -e .

提示：如果下载速度较慢，可添加国内镜像源加速： pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 配置环境变量

在项目根目录创建 .env 文件，或直接导出环境变量。

方案 A：使用 OpenAI 官方接口

export OPENAI_API_KEY="<your-openai-api-key>"

方案 B：使用国内兼容接口（例如阿里云 Qwen-VL）

export OPENAI_BASE_URL="https://dashscope.aliyuncs.com/compatible-mode/v1"
export OPENAI_API_KEY="<your-dashscope-api-key>"
export OPENAI_MODEL="qwen3-vl-235b-a22b-instruct"

4. 模型权重准备

首次运行时，大部分工具（如 CheXagent, LLaVA-Med, MedSAM 等）会自动从 Hugging Face 下载权重到指定目录。

• 若网络受限，建议手动下载权重并放置于本地目录，然后在代码中配置 model_dir。
• RoentGen (X 光生成工具) 需要手动申请并放置权重（可选，非核心功能可忽略）。

基本使用

方式一：启动 Web 界面 (推荐)

MedRAX 内置了基于 Gradio 的生产级交互界面。

python main.py

注意：

1. 运行前请编辑 main.py，将 model_dir 参数修改为您存放模型权重的本地路径。
2. 如果不需要某些工具（例如没有权限或显存不足），请在 main.py 中注释掉对应的工具初始化代码。
3. 若遇到权限问题，可尝试：sudo -E env "PATH=$PATH" python main.py

启动后，终端会显示本地访问地址（通常为 http://127.0.0.1:7860），在浏览器打开即可上传 X 光片并进行对话。

方式二：代码调用 (自定义工具链)

您也可以在 Python 脚本中灵活选择需要的工具进行初始化：

from medrax.agent import initialize_agent

# 选择需要的工具
selected_tools = [
    "ImageVisualizerTool",
    "ChestXRayClassifierTool",
    "ChestXRaySegmentationTool",
]

# 初始化智能体
agent, tools_dict = initialize_agent(
    "medrax/docs/system_prompts.txt",
    tools_to_use=selected_tools,
    model_dir="/path/to/your/model-weights" # 替换为实际路径
)

# 此处可继续添加推理逻辑

方式三：基准测试评估

如果您想使用 ChestAgentBench 数据集评估模型效果：

1. 下载数据集：

huggingface-cli download wanglab/chestagentbench --repo-type dataset --local-dir chestagentbench
unzip chestagentbench/figures.zip

2. 运行评估脚本：

export OPENAI_API_KEY="<your-openai-api-key>"
python quickstart.py \
    --model chatgpt-4o-latest \
    --temperature 0.2 \
    --max-cases 2 \
    --log-prefix chatgpt-4o-latest \
    --use-urls