ChatDoctor：基于Meta AI大型语言模型（LLaMA）并结合医学领域知识微调的医疗对话模型

Yunxiang Li¹, Zihan Li², Kai Zhang³, Ruilong Dan⁴, Steve Jiang¹, You Zhang¹

1 美国西南医学中心

2 美国内布拉斯加大学林肯分校

3 美国俄亥俄州立大学

4 中国杭州电子科技大学

资源列表

具备疾病数据库的自主型ChatDoctor 演示。

来自HealthCareMagic.com的10万条患者与医生的真实对话 HealthCareMagic-100k。

来自icliniq.com的1万条患者与医生的真实对话 icliniq-10k。

ChatDoctor的检查点，链接。

用于基础对话能力的斯坦福Alpaca数据。Alpaca链接。

设置：

在已安装PyTorch的conda环境中，运行：

pip install -r requirements.txt

交互式演示页面：

演示页面：https://huggingface.co/spaces/kenton-li/chatdoctor_csv 值得注意的是，我们的模型尚未达到100%准确的输出，请勿将其应用于真实的临床场景。

对于想要尝试在线演示的人士，请注册Hugging Face并填写此表格 链接。

数据与模型：

1. ChatDoctor数据集：

您可以下载以下训练数据集

来自HealthCareMagic.com的10万条患者与医生的真实对话 HealthCareMagic-100k。

来自icliniq.com的1万条患者与医生的真实对话 icliniq-10k。

由ChatGPT生成的5千条患者与医生的对话 GenMedGPT-5k以及疾病数据库。

我们的模型首先使用斯坦福Alpaca的数据进行微调，以获得一些基础的对话能力。Alpaca链接

2. 模型权重：

将模型权重文件放置在./pretrained文件夹中。

微调方法

torchrun --nproc_per_node=4 --master_port=<your_random_port> train.py \
   --model_name_or_path <your_path_to_hf_converted_llama_ckpt_and_tokenizer> \
   --data_path ./HealthCareMagic-100k.json \
   --bf16 True \
   --output_dir pretrained \
   --num_train_epochs 1 \
   --per_device_train_batch_size 4 \
   --per_device_eval_batch_size 4 \
   --gradient_accumulation_steps 8 \
   --evaluation_strategy "no" \
   --save_strategy "steps" \
   --save_steps 2000 \
   --save_total_limit 1 \
   --learning_rate 2e-6 \
   --weight_decay 0. \
   --warmup_ratio 0.03 \
   --lr_scheduler_type "cosine" \
   --logging_steps 1 \
   --fsdp "full_shard auto_wrap" \
   --fsdp_transformer_layer_cls_to_wrap 'LLaMADecoderLayer' \
   --tf32 True

使用LoRA进行微调

WORLD_SIZE=6 CUDA_VISIBLE_DEVICES=0,1,2,3,4,5 torchrun --nproc_per_node=6 --master_port=4567 train_lora.py \
  --base_model './weights-alpaca/' \
  --data_path 'HealthCareMagic-100k.json' \
  --output_dir './lora_models/' \
  --batch_size 32 \
  --micro_batch_size 4 \
  --num_epochs 1 \
  --learning_rate 3e-5 \
  --cutoff_len 256 \
  --val_set_size 120 \
  --adapter_name lora

推理方法

您可以在自己的机器上构建一个ChatDoctor模型并与之交流。

python chat.py

cd Autonomous_ChatDoctor_csv
python chat_csv.py

cd Autonomous_ChatDoctor_Wikipedia
python chat_wiki.py

示例：

我们在 HealthCareMagic-100K 数据集上对模型进行了微调，并在 iCliniq-10k 数据集上测试了该模型。

iCliniq 上的患者提问：医生您好，我最近出现单侧头痛。这种情况并不常见。疼痛位于右眼后方和太阳穴附近。这次还伴有严重的感冒和咳嗽。症状今天上午晚些时候开始，咳嗽、摇头或弯腰时疼痛会加剧。大约四个月前我也出现过类似的头痛，当时是在下午中段发作，一直持续到第二天早上。再之前的一次也是右侧头痛，持续了一天。我现在正在服用 CCB 和质子泵抑制剂。我很担心自己得了脑瘤，请您帮忙。

iCliniq 上的真实医生回答：您好！根据您的描述，这更可能是鼻窦炎引起的。鼻窦是颅骨内的小空腔，充满空气。当它们感染时，就会引起眼后方的头痛。这种头痛在感冒和咳嗽期间更为常见。而脑瘤引起的头痛通常是双侧的，多见于前额，并且常伴有呕吐。因此，根据您的情况，这更像是普通的鼻窦感染，而非脑瘤。建议进行头部 CT 和鼻窦 CT 检查。

ChatGPT 的回答：您好！很抱歉您正在经历这些头痛。从疼痛的位置来看，这可能是紧张性头痛或偏头痛。这类头痛有时会因感冒或其他疾病而诱发。不过，为了排除其他潜在问题，最好还是去看一下医生。至于脑瘤，它导致头痛的情况非常罕见。大多数头痛患者并不会患有脑瘤。当然，如果您出现视力变化、无力或麻木等令人担忧的症状，应立即就医。在此期间，您可以尝试服用一些非处方止痛药，如布洛芬或对乙酰氨基酚来缓解头痛。同时也要注意休息和保持水分充足。如果头痛持续不减或变得更加频繁，请尽快预约医生。祝您早日康复！

ChatDoctor 的回答：您好！感谢您的提问。首先，请放心，您不必担心脑瘤的问题。此外，我们也应该排除偏头痛的可能性。您头痛的最可能原因很可能是鼻窦炎。这一点可以通过面部 X 光检查来确认。治疗方案包括使用减充血剂片剂或鼻喷剂。祝您健康！

ChatDoctor 准确提到了鼻窦炎，这一点与 iCliniq 中的真实对话一致。

概述

ChatDoctor 是一款基于 LLaMA 模型的新一代 AI 医生模型。该项目的目标是为患者提供一个智能可靠的医疗助手，能够解答他们的医学疑问并给出个性化的医疗建议。

ChatDoctor 是一种专为医疗应用设计的先进语言模型。它接受了大量医学文献的训练，对医学术语、诊疗流程和疾病诊断有着深刻的理解。这一基础使 ChatDoctor 能够分析患者的症状和病史，做出准确的诊断，并提出合适的治疗方案。

ChatDoctor 模型通过自然语言处理（NLP）和机器学习技术，模拟医生与患者之间的对话过程。患者可以通过聊天界面与模型互动，询问自己的健康状况、症状或疾病相关问题。模型会根据输入内容，结合患者的具体情况，给出针对性的回答。

ChatDoctor 模型的一大特点是其不断学习和自我优化的能力。随着越来越多的患者与模型交互，它的回答将更加精准，准确性也会逐步提升。这意味着患者可以随着时间推移获得越来越个性化和准确的医疗建议。

患者-医生对话数据集

微调的第一步是收集患者与医生的对话数据。在真实的医患对话中，患者对病情症状的描述往往较为口语化且简略。如果人工构建合成的医患对话数据集，则容易出现多样性不足、描述过于专业化等问题，从而偏离真实场景。因此，直接收集真实的医患对话数据是一个更好的选择。我们从在线医疗咨询网站 HealthCareMagic（www.healthcaremagic.com）上收集了约 10 万条真实的医患对话记录。随后，我们通过人工和自动化的方式对数据进行了筛选，去除了医生和患者的个人信息，并利用语言工具修正了语法错误，最终将该数据集命名为 HealthCareMagic-100k。此外，我们还从另一家在线医疗咨询网站 iCliniq 收集了约 1 万条医患对话，用于评估模型的表现。

基于知识库的自主 ChatDoctor

借助外部知识库——例如维基百科或我们构建的包含 700 多种疾病的数据库——ChatDoctor 可以检索相关信息及可靠来源，从而更准确地回答患者的咨询。在构建好外部知识库后，我们需要让 ChatDoctor 自主获取所需知识。通常，在大型语言模型中，这可以通过设计合适的提示词来实现。为了进一步自动化这一过程，我们为 ChatDoctor 设计了关键词挖掘提示，帮助其提取与查询相关的关键术语。然后，系统会通过词条匹配检索机制，从知识库中提取排名靠前的相关内容。对于疾病数据库而言，由于模型无法一次性读取所有数据，我们先让模型分批读取数据，并自行筛选出可能有助于回答患者问题的数据条目。最后，模型会综合所有筛选出的信息，生成最终答案。这种方法能够更好地确保患者获得有充分依据且精确的回答。

局限性

我们强调，ChatDoctor 仅用于学术研究，禁止任何商业用途和临床应用。作出这一决定主要有三个原因：首先，ChatDoctor 基于 LLaMA 模型，而该模型采用非商业许可，因此我们不得不遵循这一限制；其次，我们的模型并未获得医疗相关用途的许可；此外，我们尚未设计足够的安全措施，当前模型仍无法完全保证诊断结果的准确性。

参考文献

ChatDoctor：基于 LLaMA 模型并结合医学领域知识微调的医疗对话模型

@article{li2023chatdoctor,
  title={ChatDoctor：基于大型语言模型 Meta-AI (LLaMA) 并结合医学领域知识微调的医疗对话模型},
  author={李云翔、李子涵、张凯、单瑞龙、江史蒂夫、张友},
  journal={Cureus},
  volume={15},
  number={6},
  year={2023},
  publisher={Cureus}
}

ChatDoctor 快速上手指南

ChatDoctor 是一个基于 LLaMA 大语言模型，利用医学领域知识微调而成的医疗对话模型。本项目旨在为患者提供智能的医疗咨询辅助。注意：本模型仅供学术研究，严禁用于真实临床诊断或商业用途。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐) 或 macOS
• Python 版本: 3.9 或更高
• 硬件要求: 需要支持 CUDA 的 NVIDIA GPU（微调过程显存需求较高，推理可根据模型大小调整）
• 依赖管理: 推荐使用 conda 创建独立虚拟环境

前置依赖安装

首先创建并激活 conda 环境（确保已安装 PyTorch），然后安装项目依赖：

# 创建环境 (示例，请根据实际 CUDA 版本安装 pytorch)
conda create -n chatdoctor python=3.9
conda activate chatdoctor
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

# 安装项目依赖
pip install -r requirements.txt

提示：国内用户可使用清华源或阿里源加速 pip 安装： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 模型与数据准备

在运行代码前，您需要下载预训练权重和数据集。

1. 下载模型权重： 从 Google Drive 链接 下载 ChatDoctor 的检查点文件。 将下载的文件放置在项目根目录下的 ./pretrained 文件夹中。

2. 下载数据集（可选，仅用于微调）：

   • HealthCareMagic-100k: 下载链接
   • icliniq-10k: 下载链接
   • Stanford Alpaca 数据：alpaca_data.json

3. 基本使用（推理演示)

完成环境配置和权重下载后，您可以直接在本地启动对话交互。

标准对话模式

运行以下命令启动基础聊天机器人：

python chat.py

增强知识库模式

如果您希望模型结合外部知识库（如疾病数据库或维基百科）进行回答，请使用以下命令：

基于疾病数据库：

cd Autonomous_ChatDoctor_csv
python chat_csv.py

基于维基百科知识：

cd Autonomous_ChatDoctor_Wikipedia
python chat_wiki.py

运行后，终端将进入交互界面，您可以输入患者症状或问题，模型将生成相应的医疗建议回复。

---

免责声明：ChatDoctor 的输出可能存在不准确的情况，切勿将其结果作为真实的医疗诊断依据。