Meditron 是一套开源的医学大型语言模型（LLMs）。

我们发布了 Meditron-7B 和 Meditron-70B，它们基于 Llama-2，在一个全面 curated 的医学语料库上进行了持续预训练，该语料库包括精选的 PubMed 论文和摘要、一套国际公认的医学指南数据集，以及通用领域的语料库，从而适配了医学领域。

经过相关数据微调的 Meditron-70B，在多项医学推理任务中表现优于 Llama-2-70B、GPT-3.5 和 Flan-PaLM。

咨询通知

尽管 Meditron 旨在从高质量证据来源中编码医学知识，但它尚未被调整为能够以适当、安全的方式，并在专业可操作的约束范围内提供这些知识。我们建议不要在没有进行广泛的用例对齐以及额外测试的情况下将 Meditron 用于医疗应用，尤其是需要在真实世界实践环境中进行随机对照试验的情况。

模型详情

• 开发团队: EPFL LLM 团队
• 模型类型: 因果解码器-only 变压器语言模型
• 语言: 英语（主要）
• 模型许可证: LLAMA 2 社区许可协议
• 代码许可证: APACHE 2.0 许可证
• 继续预训练自模型: Llama-2-70B
• 上下文长度: 4k tokens
• 输入: 仅文本数据
• 输出: 模型仅生成文本
• 状态: 这是一个基于离线数据集训练的静态模型。随着我们不断提升模型性能，未来还将发布经过微调的版本。
• 知识截止日期: 2023年8月
• 训练者: epflLLM/Megatron-LLM
• 论文: [Meditron-70B：面向大型语言模型的医学预训练扩展] (https://arxiv.org/abs/2311.16079)

使用方法

您可以直接从 HuggingFace 模型中心 加载 Meditron 模型，如下所示：

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("epfl-llm/meditron-70b")
model = AutoModelForCausalLM.from_pretrained("epfl-llm/meditron-70b")

医学训练数据

我们发布了用于下载和预处理 Meditron 训练数据的代码。

Meditron 的领域自适应预训练语料库 GAP-Replay 结合了来自四个语料库的 481 亿个 token：

• 临床Guidelines: 一套包含来自各类医疗机构及国际组织的 4.6 万份临床实践指南的新语料库，
• 论文Abstracts: 从封闭访问的 PubMed 和 PubMed Central 论文中提取的 1610 万个摘要，
• 医学Papers: 从 500 万篇公开可用的 PubMed 和 PubMed Central 论文中提取的全文文章。
• Replay 数据集: 从 RedPajama-v1 中采样的 4 亿个通用领域预训练数据 token。

下载说明

您可以通过在 gap-replay 文件夹中运行 ./download.sh 来下载并预处理整个 GAP-Replay 语料库。

您还可以从 HuggingFace 数据集中心 下载我们 Guidelines 语料库中的 3.6 万篇开放获取文章。

from datasets import load_dataset

dataset = load_dataset("epfl-llm/guidelines")

您也可以通过在 guidelines 文件夹中运行 ./download.sh 来抓取并清洗所有 4.6 万份指南（包括封闭访问来源）。

更多详细信息请参阅 GAP-Replay 文档。

训练流程

我们使用了 Megatron-LLM 分布式训练库——它是 Nvidia 的 Megatron LM 项目的衍生版本——来优化训练效率。 硬件由 16 个节点组成，每个节点配备 8 块 NVIDIA A100（80GB）SXM GPU，通过 NVLink 和 NVSwitch 相互连接，并配有单块 Nvidia ConnectX-6 DX 网卡，同时搭载 2 颗 AMD EPYC 7543 32 核处理器和 512GB 内存。 这些节点通过 RDMA over Converged Ethernet 进行互联。

我们的三重并行方案采用以下配置：

• 数据并行（DP —— 不同 GPU 处理不同批次子集）为 2，
• 流水线并行（PP —— 不同 GPU 处理不同层）为 8，
• 张量并行（TP —— 不同 GPU 处理矩阵乘法的不同子张量）为 8。

训练超参数（7B）

bf16	true
lr	3e-4
eps	1e-5
betas	[0.9, 0.95]
clip_grad	1
weight decay	0.1
DP size	16
TP size	4
PP size	1
seq length	2048
lr scheduler	cosine
min lr	1e-6
warmup iteration	2000
micro batch size	10
global batch size	1600

训练超参数（70B）

bf16	true
lr	1.5e-4
eps	1e-5
betas	[0.9, 0.95]
clip_grad	1
weight decay	0.1
DP size	2
TP size	8
PP size	8
seq length	4096
lr scheduler	cosine
min lr	1e-6
warmup iteration	2000
micro batch size	2
global batch size	512

您可以在这里查看我们通过 Megatron-LLM 对模型进行预训练所使用的脚本：finetune.sh

监督式微调

我们再次使用了 Megatron-LLM 分布式训练库来进行监督式微调（单节点和多节点）。 我们编写了一个名为 sft.py 的文件，它可以自动通过 Megatron-LLM 处理分词和微调过程。要启动多节点微调流程，可以参考以下示例：

cd finetuning
python sft.py \
    --checkpoint=baseline \
    --size=70 \
    --run_name=cotmedqa \
    --data /pure-mlo-scratch/zechen/meditron/benchmarks/ft_preprocessed/medqa_cot_train.jsonl \
    --val /pure-mlo-scratch/zechen/meditron/benchmarks/ft_preprocessed/medqa_cot_validation.jsonl \
    --micro_batch=4
    --nodes=4 \
    --addr=<RANK0_HOST_NAME> \
    --save_interval=200 \
    --pp=4 \
    --seq 4096 \
    --rank=<CURRENT_RANK>

在节点 rank-0、rank-1、rank-2 和 rank-3 上分别运行上述命令，即可启动一个 4 节点的微调进程。

重要提示！: 请确保在 sft.py 和 finetune_sft.sh 中正确设置了路径。

微调超参数

bf16	true
lr	2e-5
eps	1e-5
betas	[0.9, 0.95]
clip_grad	1
weight decay	0.1
DP size	16
TP size	4
PP size	1
seq length	2048 或 4096
lr scheduler	cosine
min lr	2e-6
warmup ratio	0.1
added tokens	[<|im_start|>, <|im_end|>]

应用场景

Meditron-70B 目前可供进一步测试和评估，旨在作为 AI 助手以增强临床决策能力，并使医疗领域的大规模语言模型更加普及化。潜在的应用场景包括但不限于：

• 医学考试问答
• 辅助鉴别诊断
• 疾病相关信息查询（症状、病因、治疗等）
• 健康常识查询

该模型可用于生成文本，这对于实验研究及理解其功能特性非常有帮助。然而，不应将其直接用于生产环境或可能对人们产生影响的实际工作中。

我们不建议在生产环境中使用此模型进行自然语言生成任务，无论是否经过微调。

下游应用

Meditron-70B 和 Meditron-7B 均为未经过微调或指令微调的基础模型。它们可以根据具体的下游任务和应用场景进行微调、指令微调或 RLHF 微调。

我们曾采用两种方式将该模型应用于下游问答任务：

1. 在提示中加入 k 个示例（我们的论文中使用了 3 或 5 个），实现上下文学习。
2. 使用特定的训练数据集对该模型进行微调，以适应下游问答任务。

我们鼓励并期待更多样化的应用场景能够基于该基础模型展开。

如果您希望以更交互式的方式与模型对话，建议使用高吞吐量且内存高效的推理引擎，并配备支持聊天和文本生成的用户界面。

您可以在下方的部署指南中查看我们的实践案例：我们使用了 FastChat 结合 vLLM。为了进行定性分析，我们通过一个交互式 UI 平台 BetterChatGPT 收集了模型生成的内容。以下是我们使用的提示格式示例：

医疗基准推理与评估

必需条件

在开始之前，请确保已安装以下必要的软件包：

vllm >= 0.2.1
transformers >= 4.34.0
datasets >= 2.14.6
torch >= 2.0.1

有关如何使用医疗基准进行推理和评估的详细说明，请参阅此处的文档：推理与评估说明。

模型部署

有关如何部署 Meditron 模型并进行交互式对话的详细步骤，请参阅此处的文档：模型部署。

引用信息

如果您使用本软件或本文，请引用以下内容：

@misc{chen2023meditron70b,
      title={MEDITRON-70B: Scaling Medical Pretraining for Large Language Models},
      author={Zeming Chen and Alejandro Hernández-Cano and Angelika Romanou and Antoine Bonnet and Kyle Matoba and Francesco Salvi and Matteo Pagliardini and Simin Fan and Andreas Köpf and Amirkeivan Mohtashami and Alexandre Sallinen and Alireza Sakhaeirad and Vinitra Swamy and Igor Krawczuk and Deniz Bayazit and Axel Marmet and Syrielle Montariol and Mary-Anne Hartley and Martin Jaggi and Antoine Bosselut},
      year={2023},
      eprint={2311.16079},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

@software{epfmedtrn,
  author = {Zeming Chen and Alejandro Hernández-Cano and Angelika Romanou and Antoine Bonnet and Kyle Matoba and Francesco Salvi and Matteo Pagliardini and Simin Fan and Andreas Köpf and Amirkeivan Mohtashami and Alexandre Sallinen and Alireza Sakhaeirad and Vinitra Swamy and Igor Krawczuk and Deniz Bayazit and Axel Marmet and Syrielle Montariol and Mary-Anne Hartley and Martin Jaggi and Antoine Bosselut},
  title = {MediTron-70B: Scaling Medical Pretraining for Large Language Models},
  month = November,
  year = 2023,
  url = {https://github.com/epfLLM/meditron}
}

Meditron 快速上手指南

Meditron 是由 EPFL LLM 团队开发的一套开源医疗大语言模型（LLM），基于 Llama-2 进行持续预训练，专为医疗领域优化。本指南将帮助您快速在本地加载和使用 Meditron 模型。

环境准备

系统要求

• 操作系统: Linux (推荐) 或 macOS
• GPU: 建议使用 NVIDIA GPU（运行 7B 版本至少需要 16GB 显存，70B 版本需要多卡或多节点环境）
• Python: 3.8 或更高版本

前置依赖

请确保已安装以下核心库：

pip install torch>=2.0.1
pip install transformers>=4.34.0
pip install datasets>=2.14.6
pip install vllm>=0.2.1  # 如需高性能推理

提示：国内开发者可使用清华源或阿里源加速安装：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch transformers datasets vllm

安装步骤

Meditron 模型托管在 Hugging Face 上，无需克隆整个仓库即可直接通过代码加载。若需获取数据处理脚本或微调代码，可克隆官方仓库：

git clone https://github.com/epfLLM/meditron.git
cd meditron

注：模型权重将在首次运行时自动从 Hugging Face 下载。国内网络若不顺畅，建议配置 Hugging Face 镜像或使用代理。

基本使用

以下是使用 transformers 库加载 Meditron-70B 模型并生成文本的最简示例。

1. 加载模型与分词器

from transformers import AutoTokenizer, AutoModelForCausalLM

# 加载 70B 版本，如需 7B 版本请将 "meditron-70b" 改为 "meditron-7b"
model_name = "epfl-llm/meditron-70b"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    device_map="auto",          # 自动分配设备到 GPU
    torch_dtype="auto"          # 自动选择精度以节省显存
)

2. 推理示例

input_text = "User: What are the symptoms of diabetes?\nAssistant:"
inputs = tokenizer(input_text, return_tensors="pt").to(model.device)

outputs = model.generate(
    **inputs,
    max_new_tokens=256,
    do_sample=True,
    temperature=0.7,
    top_p=0.9
)

response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

⚠️ 重要安全提示

Meditron 是一个基础模型，尚未针对临床实际应用进行安全对齐。

• 严禁直接将其用于生产环境、临床诊断或提供具体的医疗建议。
• 该模型仅适用于研究、实验及作为进一步微调的基础。
• 在实际医疗场景使用前，必须进行严格的用例对齐测试及随机对照试验。