华佗GPT，迈向驯服语言模型成为医生

✨ 最新消息

• [2023年12月11日]: 🎉🎉🎉 我们的论文已被EMNLP 2023接收！请在此查看链接。

⚡ 简介

欢迎来到HuatuoGPT仓库，这是一个基于海量中文医学语料训练的大规模语言模型（LLM）。我们开发HuatuoGPT的目标是构建一个更专业的“ChatGPT”，用于医疗咨询场景。

以下是已发布的资源列表：

1. HuatuoGPT-SFT-data：一种混合式监督微调数据集，结合了两种优势，使模型兼具医生的专业性和对患者的友好性。
2. HuatuoGPT模型：包括HuatuoGPT-7B和HuatuoGPT-13B的模型权重，以及在线演示。HuatuoGPT-7B基于Baichuan-7B训练，而HuatuoGPT-13B则基于Ziya-LLaMA-13B-Pretrain-v1训练。
3. 医疗评估基准：一种用于评估LLM在医疗场景中表现的评测方法。

💭 动机

• 为了解决线上和医院中日益增长的快速医疗咨询需求——这些需求并不一定需要深厚的医学知识。我们相信，像HuatuoGPT这样的LLM可以有效地满足这些需求，从而让医生有更多时间和精力处理更复杂的病例。
• 为了提供开放的医疗LLM训练数据。构建高质量的指令型训练数据对于LLM至关重要，但同时也颇具挑战性。我们通过多种方法构建了医疗指令数据，并将其公开共享。该数据集可与其他数据集结合使用，以训练属于自己的医疗版“ChatGPT”。
• 强调在将医疗LLM用于患者医疗服务之前，必须谨慎评估其能力的重要性。我们认识到LLM在医疗领域的潜在益处，但也意识到需要进行彻底的评估和测试，以确保患者安全和诊断准确性。

📚 数据

概述

为了充分利用来自ChatGPT的提炼数据和来自医生的真实世界数据的优势，我们首先使用四种类型的数据对HuatuoGPT进行了微调：

类型	规模	描述	示例
来自ChatGPT的提炼指令	61,400	通过自我指令生成的医疗指令。种子指令由我们手动编写。	💬：现在该做什么准备手术前的身体检查？ 👨‍⚕️：在准备手术前的身体检查中，需要进行以下几个步骤：   1. 了解病人的病史：了解病人的病史，包括既往病史、手术史、药物过敏史、家族病史等，以便评估手术风险和制定手术方案。   2. 进行体格检查：进行全面的体格检查，包括测量身高、体重、血压、心率、呼吸…
来自医生的真实指令	69,768	真实场景中的单轮医疗咨询，其中医生的回答更加具体，能够直接回应用户的医疗问题。	💬：我有糖尿病血压160-90.该吃什么降压药？空腹血糖8左右。餐后11左右。我有糖尿病血压160-90.该吃什么降压药？ 👨‍⚕️：阅读你的提问描述，综合分析症状，体征，糖尿病，血压160-90.血压略高，空腹血糖8左右。餐后11左右。血糖略高。口服依那普利，二甲双胍片治疗，新近研究，二甲双胍片，可以抑制食欲，促进肠道蠕动，预防癌症，预防心脑血管病，延长寿命作用。
来自ChatGPT的提炼对话	68,888	使用两个ChatGPT模拟患者和医生角色创建的多轮医疗对话。这些对话基于真实的患者病例及其对应的治疗方案。	💬：User: 我想问一下大夫，我发烧三天后，第四天全身起了疹子，是怎么回事呢？ 👨‍⚕️：~您好！感谢您的提问。您的症状可能与幼儿急疹相关。幼儿急疹是一种常见的儿童病，病因为人类疱疹病毒6型或7型感染引起。它的症状包括： 1. 发热 n2. 全身起红色疹子 3. 口腔内及咽喉部有小水泡 4. 病程一般为3-5天左右... 💬：谢谢大夫！除了幼儿急疹还有其他可能吗？我之前有感冒，这和疹子有关系吗？ 👨‍⚕️：除了幼儿急疹，病毒性感冒和其他病毒感染也有可能引起疹子，但这种情况相对较少见。在您的情况下，感冒可能是一种诱发因素，但主要还是由病毒感染引起的疹子...
来自医生的真实对话	25,986	真实场景中的多轮医疗对话。这些对话包含医生的多轮提问以及患者的持续追问。	💬：额头下巴下长满痘痘。就是不知道. 👨‍⚕️：你好，有什么困扰吗？我可以为你提供帮助。请问您平时的饮食习惯、睡眠和护肤习惯怎样？化妆品和防晒霜的使用频率如何？还有洁面的频次是怎样的呢？ 💬：平时我基本上只是用水乳霜，然后洗面奶只用一种。日常防晒只有在夏天时会使用，我一般用悦诗风吟的洗面奶以及AHC的护肤产品，这些都比较温和。 👨‍⚕️：谢谢您的描述。首先，建议您停用化妆品和普通护肤品，使用特定的药妆品牌，如雅漾和理肤泉的洁面泡沫或洁面乳，并避免使用热水或肥皂清洗面部。建议您外用阿达帕林凝胶涂于面部痤疮，一般夜间使用，涂抹十五分钟之后外用医学护肤品比如雅漾、薇资、理肤泉清爽型的舒缓面霜，或者是维生素e乳膏…

下载

• HuatuoGPT-sft-data-v1: 用于HuatuoGPT监督微调阶段的数据。

👨‍⚕️ 模型

模型访问

模型	后端	链接
HuatuoGPT-13B	Ziya-LLaMA-13B-Pretrain-v1	Delta
HuatuoGPT-7B	Baichuan-7B	模型权重

请注意，由于HuatuoGPT-13B-delta是基于LLaMA的模型，我们仅发布了权重的增量部分。您可以下载LLaMA-13B的权重，并使用apply_delta.py脚本来进行转换：

python apply_delta.py \
--base-model-path $LLaMA_Base_Path \
--target-model-path $Save_Path \
--delta-path $Delta_Path

部署

首先，您需要安装所有必要的软件包：

pip install -r requirements.txt

请确保您已下载我们的模型权重，然后运行：

python huatuo_cli_demo_stream.py --model-name $model_dir

🚀 演示

您可以在https://www.huatuogpt.cn/体验我们的模型。请注意，目前仍在开发中。

🧐 评估

GPT-4与医生的评估

我们邀请GPT-4和医生对华佗GPT（13B版本）及其他大语言模型的回答进行比较。评估数据可在eval/文件夹中找到。结果如下：

• 单轮评估

• 多轮评估

基准评估

数据集	模型	BLEU-1	BLEU-2	BLEU-3	BLEU-4	GLEU	ROUGE-1	ROUGE-2	ROUGE	Distinct-1	Distinct-2
cMedQA2	T5微调版	20.88	11.87	7.69	5.09	7.62	27.16	9.30	20.11	0.41	0.52
	华佗GPT	27.39	14.38	8.06	4.55	8.52	29.26	8.02	15.46	0.74	0.93
WebMedQA	T5微调版	21.42	13.79	10.06	7.38	8.94	31.00	13.85	25.78	0.37	0.46
	华佗GPT	24.85	13.42	7.72	4.51	7.50	28.30	7.72	14.50	0.73	0.93
华佗-26M	T5微调版	26.63	16.74	11.77	8.46	11.38	33.21	13.26	24.85	0.51	0.68
	华佗GPT	27.42	14.84	8.54	4.96	8.01	29.16	8.29	15.84	0.74	0.93

⚒️ 训练

准备数据

您可以从HuatuoGPT-sft-data-v1下载SFT数据，或按照相同的数据格式构建您自己的SFT数据。

训练

您可以通过以下命令训练模型：

accelerate launch \
	--config_file scripts/sft.yaml \
	--num_processes 8 \
	--num_machines 1 \
	--machine_rank 0 \
	--deepspeed_multinode_launcher standard scripts/finetune.py \
    --experiment_name HuatuoGPT \
	--model_path /path/to/your/model \
    --gradient_accumulation_steps 8 \
    --max_ckpts 3 \
    --max_seq_len 2048 \
	--data_dir /path/to/your/data \
	--output_dir ./ckpts \
	--log_dir ./train_logs \
	--n_epochs 3 \
	--train_bsz_per_gpu 2 \
	--eval_bsz_per_gpu 2 \
	--learning_rate 5e-5 \
	--eval_step -1 \
	--save_step -1 \
    --gradient_checkpointing

🤖 局限性

我们开发华佗GPT的目标是满足快速医疗咨询的需求，而非取代医生或为患者提供全面的医疗服务。然而，我们的模型仍存在一些局限性，需要予以重视：

• 理解偏差：与所有语言模型一样，尤其是在处理医学术语或复杂病情时，存在理解偏差或误读的风险。在这种情况下，我们的模型可能会给出错误的答案。
• 幻觉现象：大型语言模型有时会生成不合逻辑或与输入完全无关的回答。这种“幻觉”现象在用户不熟悉讨论内容时尤为棘手，因为他们可能难以识别模型输出中的错误。这些“幻觉”往往难以被发现和避免。
• 偏见问题：大语言模型基于大规模数据集进行训练，这可能导致模型响应中无意间引入偏见。此外，还需注意避免利用该模型延续医疗领域的偏见。

致谢

我们深知，我们的工作受到以下研究的启发，包括但不限于：

• IDEA-CCNL/Ziya-LLaMA-13B-Pretrain-v1: https://huggingface.co/IDEA-CCNL/Ziya-LLaMA-13B-Pretrain-v1
• 百川-7B: https://huggingface.co/baichuan-inc/baichuan-7B
• LLaMA: https://arxiv.org/abs/2302.13971
• Self-instruct: https://github.com/yizhongw/self-instruct

若没有这些工作，本仓库中的任何成果都不可能实现。

引用

@article{huatuogpt-2023,
  title={HuatuoGPT, Towards Taming Language Models To Be a Doctor},
  author={Hongbo Zhang and Junying Chen and Feng Jiang and Fei Yu and Zhihong Chen and Jianquan Li and Guiming Chen and Xiangbo Wu and Zhiyi Zhang and Qingying Xiao and Xiang Wan and Benyou Wang and Haizhou Li},
  journal={arXiv preprint arXiv:2305.15075},
  year={2023}
}

我们来自香港中文大学深圳分校数据科学学院及深圳市大数据研究院。

星标历史

HuatuoGPT 快速上手指南

HuatuoGPT（华佗 GPT）是一个基于大规模中文医疗语料训练的大语言模型，旨在构建专业的医疗咨询助手。本指南将帮助您快速部署并使用 HuatuoGPT-7B 或 HuatuoGPT-13B 模型。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• Python: 3.8 或更高版本
• GPU: 建议使用 NVIDIA GPU (显存需求：7B 模型约需 16GB+，13B 模型约需 24GB+，具体取决于量化方式)
• 依赖管理: pip

前置依赖安装： 克隆仓库后，首先安装项目所需的 Python 包：

pip install -r requirements.txt

提示：国内用户建议使用国内镜像源加速安装，例如： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤与模型获取

根据您选择的模型版本（7B 或 13B），获取模型权重的步骤略有不同。

方案 A：使用 HuatuoGPT-7B (推荐新手)

该模型基于 Baichuan-7B，权重文件完整，下载即可使用。

1. 从 Hugging Face 下载模型权重到本地目录（例如 ./HuatuoGPT-7B）：
   • 模型地址：FreedomIntelligence/HuatuoGPT-7B
   • 国内加速：可使用 ModelScope (魔搭) 搜索对应模型或使用镜像站下载。

方案 B：使用 HuatuoGPT-13B

该模型基于 LLaMA-13B，受限于许可证，仅发布了权重差值（Delta）。您需要先拥有原始的 LLaMA-13B 权重，然后合并差值。

1. 准备原始的 LLaMA-13B 权重路径 ($LLaMA_Base_Path)。
2. 下载 HuatuoGPT-13B 的 Delta 权重 ($Delta_Path)：
   • 地址：FreedomIntelligence/HuatuoGPT-13b-delta
3. 运行脚本合并权重：

python apply_delta.py \
--base-model-path $LLaMA_Base_Path \
--target-model-path $Save_Path \
--delta-path $Delta_Path

• $Save_Path: 您希望保存合并后完整模型的路径。

基本使用

模型权重准备就绪后，您可以使用提供的命令行脚本启动交互式对话演示。

启动命令：

python huatuo_cli_demo_stream.py --model-name $model_dir

• 请将 $model_dir 替换为您本地存放模型权重的实际路径（即方案 A 中的下载目录或方案 B 中的 $Save_Path）。

使用示例： 运行上述命令后，终端将进入交互模式。您可以直接输入医疗相关问题，例如：

💬 用户：我最近发烧三天，第四天全身起了疹子，是怎么回事？
👨‍⚕️ 华佗 GPT：您好！感谢您的提问。您的症状可能与幼儿急疹相关...

注意：本模型旨在辅助快速医疗咨询，不能替代专业医生的诊断。如遇紧急或复杂病情，请务必前往医院就诊。