PMC-LLaMA

“PMC-LLaMA：迈向构建开源医学语言模型”的官方代码。

• 最新消息
• 环境配置
• 快速入门
• 训练
• 结果
  • 问答基准测试
  • 零样本案例
• 致谢
• 联系方式

Arxiv版本

我们证明，医学大语言模型应首先使用领域语料库进行预训练，然后再使用指令微调数据集进行微调。

我们已发布了基于我们的指令微调数据集训练的最新模型 PMC_LLaMA_13B。与 MedLLaMA_13B 相比，它在遵循用户指令方面表现出更强的能力。

同样，可以轻松加载该模型：

import transformers
import torch
tokenizer = transformers.LlamaTokenizer.from_pretrained('axiong/PMC_LLaMA_13B')
model = transformers.LlamaForCausalLM.from_pretrained('axiong/PMC_LLaMA_13B')

在此，我们介绍 PMC_LLaMA 的各个版本及其简要说明。

MedLLaMA_13B 是在医学语料库上预训练的模型，而 PMC_LLaMA_13B 则是在此基础上进一步微调得到的。

版本	链接	简介	发布日期
MMed-Llama-3	https://huggingface.co/Henrychur/MMed-Llama-3-8B	基于 Llama-3 的最新多语言预训练大语言模型	2024/05/22
MMedLM	https://github.com/MAGIC-AI4Med/MMedLM	进一步预训练的多语言大语言模型	2024/02/21
PMC_LLaMA_13B	https://huggingface.co/axiong/PMC_LLaMA_13B	指令微调版	2023/09/01
MedLLaMA_13B	https://huggingface.co/chaoyi-wu/MedLLaMA_13B	在 480 万篇 PubMedCentral 论文和医学书籍上对 LLaMA 进行预训练	2023/05/01
PMC_LLaMA_7B_10_epoch	https://huggingface.co/chaoyi-wu/PMC_LLAMA_7B_10_epoch	类似于 PMC_LLaMA_7B，但训练了 10 个 epoch	2023/05/01
PMC_LLaMA_7B	https://huggingface.co/chaoyi-wu/PMC_LLAMA_7B	使用 PMC 论文对 LLaMA-7b 进行 5 个 epoch 的微调	2023/04/25

最新消息

我们发布了一项新的报告生成指标 RaTEScore。我们坚信，为了推动基于生成式技术的医学基础模型的发展，开发一个稳健可靠的评估指标是至关重要的基础步骤。

环境配置

只需按照以下步骤设置所需的环境：

conda install pytorch==1.13.0 torchvision==0.14.0 torchaudio==0.13.0 pytorch-cuda=11.6 -c pytorch -c nvidia
pip install transformers=4.28.1, sentencepiece, datasets

快速入门

请查看 simple_test.py 以快速使用 PMC-LLaMA，或者您可以按照以下简单示例操作。

import transformers
import torch
tokenizer = transformers.LlamaTokenizer.from_pretrained('axiong/PMC_LLaMA_13B')
model = transformers.LlamaForCausalLM.from_pretrained('axiong/PMC_LLaMA_13B')
model.cuda()  # 将模型移动到 GPU

prompt_input = (
    'Below is an instruction that describes a task, paired with an input that provides further context.'
    'Write a response that appropriately completes the request.\n\n'
    '### Instruction:\n{instruction}\n\n### Input:\n{input}\n\n### Response:'
)

example = {
    "instruction": "您是一位医生，请根据患者的描述回答其医疗问题。直接给出最佳选项。",
    "input": (
        "###问题：一位怀孕 22 周的 23 岁女性主诉排尿时有烧灼感。她表示症状始于 1 天前，并且尽管多喝水和服用蔓越莓提取物，症状仍在加重。她目前总体感觉良好，正在接受产科医生的定期随访。体温为 97.7°F (36.5°C)，血压为 122/77 mmHg，脉搏为 80/min，呼吸频率为 19/min，室温下血氧饱和度为 98%。体格检查未见肋脊角压痛，子宫呈妊娠状态。请问对该患者的最佳治疗方案是什么？"
        "###选项：A. 氨苄西林 B. 头孢曲松 C. 多西环素 D. 硝呋antoin"
    )
}
input_str = [prompt_input.format_map(example)]

model_inputs = tokenizer(
    input_str,
    return_tensors='pt',
    padding=True,
)
print( f"\033[32mmodel_inputs\033[0m: { model_inputs }" )


topk_output = model.generate(
    model_inputs.input_ids.cuda(),
    max_new_tokens=1000,
    top_k=50
)
output_str = tokenizer.batch_decode(topk_output)
print('模型预测: ', output_str[0])

训练

训练过程可分为两个阶段：预训练和指令微调。

预训练

预训练脚本位于 Pretrain/training.sh。

我们的预训练数据来源于 S2ORC。只有带有 PubMed ID 的论文才被视为与医学相关，并在预训练中使用。

由于版权限制，我们无法公开原始内容，因此本书以 MedicalBook.xlsx 的形式列在本仓库中。如需复现，请自行购买并处理这些书籍。

有关如何微调 LLaMA 的更多详细信息，请参阅 Finetune_LLAMA

指令微调

我们还提供了指令微调脚本 SFT/train.py。 您的指令数据集可以在 PMC LLaMA Instructions 中找到。

结果

QA 基准测试

方法	模型大小	USMLE	MedMCQA	PubMedQA
人类（及格）	-	50.0	--	60.0
人类（专家）	-	87.0	90.0	78.0
ChatGPT	175B	57.0	44.7	63.9
LLaMA-2	13B	42.73	37.41	68.0
LLaMA-2	70B	43.68	35.02	74.3
Med-Alpaca	13B	30.85	31.13	53.2
Chat-Doctor	7B	33.93	31.10	54.3
PMC_LLaMA_13B	13B	56.36	56.04	77.9

请注意，手动评分和零样本结果中标有 * 的数据来自 LMFLow。

零样本案例

我们展示了PMC_LLaMA_13B在域外查询下的响应。

请注意，由于MedLLaMA_13B是在论文数据上训练的，它可能会生成一些引用编号（LLaMA有时也会这样做），我们在案例中将其忽略，以突出主要内容。而对于PMC_LLaMA_13B，由于其输出结果是结构化的，因此更容易提取出正确的答案。

致谢

Minimal LLaMA -- https://github.com/zphang/minimal-llama

alpaca -- https://github.com/tatsu-lab/stanford_alpaca

LMFLow -- https://github.com/OptimalScale/LMFlow/tree/main/src/lmflow

LLaMA：开放且高效的通用语言模型 -- https://arxiv.org/abs/2302.13971

联系方式

如有任何问题，请随时联系 wtzxxxwcy02@sjtu.edu.cn。

PMC-LLaMA 快速上手指南

PMC-LLaMA 是一个面向医学领域的开源大语言模型。该项目证明了医学大模型应先在领域语料上进行预训练，再使用指令数据集进行微调。本指南将帮助您快速部署并使用最新的 PMC_LLaMA_13B 模型。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐)
• GPU: 支持 CUDA 的 NVIDIA 显卡（运行 13B 模型建议显存 ≥ 24GB，或使用量化版本）
• Python: 3.8+
• 包管理器: Conda (推荐)

安装步骤

1. 创建并激活 Conda 环境

conda create -n pmc_llama python=3.9 -y
conda activate pmc_llama

2. 安装 PyTorch 及依赖

根据官方要求安装特定版本的 PyTorch (CUDA 11.6) 和其他必要库：

conda install pytorch==1.13.0 torchvision==0.14.0 torchaudio==0.13.0 pytorch-cuda=11.6 -c pytorch -c nvidia
pip install transformers==4.28.1 sentencepiece datasets

提示：如果下载速度较慢，可尝试使用清华或阿里镜像源加速 pip 安装： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple transformers==4.28.1 sentencepiece datasets

基本使用

以下是最简单的推理示例，展示如何加载 PMC_LLaMA_13B 模型并进行医学问答。

代码示例

import transformers
import torch

# 1. 加载分词器和模型
tokenizer = transformers.LlamaTokenizer.from_pretrained('axiong/PMC_LLaMA_13B')
model = transformers.LlamaForCausalLM.from_pretrained('axiong/PMC_LLaMA_13B')
model.cuda()  # 将模型移动到 GPU

# 2. 构建输入提示模板
prompt_input = (
    'Below is an instruction that describes a task, paired with an input that provides further context.'
    'Write a response that appropriately completes the request.\n\n'
    '### Instruction:\n{instruction}\n\n### Input:\n{input}\n\n### Response:'
)

# 3. 准备测试数据 (医学选择题)
example = {
    "instruction": "You're a doctor, kindly address the medical queries according to the patient's account. Answer with the best option directly.",
    "input": (
        "###Question: A 23-year-old pregnant woman at 22 weeks gestation presents with burning upon urination. "
        "She states it started 1 day ago and has been worsening despite drinking more water and taking cranberry extract. "
        "She otherwise feels well and is followed by a doctor for her pregnancy. "
        "Her temperature is 97.7°F (36.5°C), blood pressure is 122/77 mmHg, pulse is 80/min, respirations are 19/min, and oxygen saturation is 98% on room air."
        "Physical exam is notable for an absence of costovertebral angle tenderness and a gravid uterus. "
        "Which of the following is the best treatment for this patient?"
        "###Options: A. Ampicillin B. Ceftriaxone C. Doxycycline D. Nitrofurantoin"
    )
}

# 格式化输入
input_str = [prompt_input.format_map(example)]

# 4.  Tokenize 输入
model_inputs = tokenizer(
    input_str,
    return_tensors='pt',
    padding=True,
)

# 5. 生成回答
topk_output = model.generate(
    model_inputs.input_ids.cuda(),
    max_new_tokens=1000,
    top_k=50
)

# 解码并打印结果
output_str = tokenizer.batch_decode(topk_output)
print('Model Prediction:', output_str[0])

运行说明

1. 将上述代码保存为 test_pmc.py。
2. 确保已登录 Hugging Face (如果模型需要访问权限) 或直接运行（该模型目前公开可用）。
3. 执行脚本：python test_pmc.py。
4. 模型将输出针对该病例的最佳治疗选项建议。