语言模型就是超级马里奥：从同源模型中免费吸收能力

本仓库用于支持论文《语言模型就是超级马里奥：从同源模型中免费吸收能力》（arXiv:2311.03099）。

🔔 如果您有任何问题或建议，请随时告知我们。您可以直接通过邮箱 yule@buaa.edu.cn 联系 Le Yu，或者在本仓库中提交 issue。

💥 最新消息 💥

• 🔥🔥🔥[2024年5月2日] 我们的论文已被 ICML 2024 接受！最终定稿版本即将发布。
• 🔥🔥🔥[2024年2月9日] 特别感谢 Sourab Mangrulkar，将我们的工作集成到 huggingface/peft 项目 中！
• 🔥🔥🔥[2024年1月28日] 我们的合并模型 supermario_v2 在 Open LLM Leaderboard 上的 7B 模型中排名第一！
• 🔥🔥🔥[2023年12月4日] 感谢 Minhajul Hoque 在 Medium 上分享我们的工作！
• 🔥🔥🔥[2023年11月29日] 特别感谢 papersread.ai 分享了我们的工作 链接！
• 🔥🔥🔥[2023年11月27日] 我们感谢 martyn 将我们的工作扩展到 Stable Diffusion 模型！
• 🔥🔥🔥[2023年11月26日] 特别感谢 brucethemoose 将我们的工作应用到 Hugging Face 上的 模型！
• 🔥🔥🔥[2023年11月25日] 我们感谢 cg123 将我们的工作集成到 mergekit 项目 中！
• 🔥🔥🔥[2023年11月24日] 特别感谢 fly51fly 在 Twitter 上分享我们的工作！
• 🔥🔥🔥[2023年11月23日] 特别感谢 WizardLM 在 Twitter 上分享我们的工作！
• 🔥🔥🔥[2023年11月21日] 我们感谢 PaperWeekly 在 微信 和 知乎 上分享我们的工作！
• 🔥🔥🔥[2023年11月11日] 特别感谢 夕小瑶 在 微信 和 知乎 上分享我们的工作！
• 🔥🔥🔥[2023年11月6日] 我们的论文已在 arXiv、Papers With Code 和 Hugging Face 上公开。

概述

在本工作中，我们发现无论是编码器还是解码器架构的语言模型（LM），都可以在无需重新训练或使用 GPU 的情况下，通过吸收同源模型的参数来获得新的能力。具体来说：

1. 我们提出了一种名为 DARE 的新操作，可以将大部分（90% 甚至 99%）的 delta 参数直接置为零，而不会影响 SFT 模型的能力。
2. 我们将多个 SFT 同源模型的 delta 参数通过 DARE 进行稀疏化处理，作为一种通用的预处理技术，然后通过参数平均的方式将其合并为一个单一模型。

工作流程如下所示：

通过大量实验，我们发现：

1. DARE 对于 delta 参数值范围相对较小的 SFT 模型（例如在 0.005 以内）非常有效，甚至可以消除高达 99% 的 delta 参数。较大的模型能够容忍更高比例的被丢弃参数，这表明 SFT 天然地学习到了一组极其稀疏的 delta 参数，几乎所有能力都源自预训练模型本身。详见下图 (a)。
2. DARE 可以将多个特定任务的 LM 合并为一个具备多样化能力的 LM，使其同时拥有所有 SFT 模型的功能。例如，将 WizardLM 和 WizardMath 合并后，WizardLM 的 GSM8K 准确率从 2.2% 提升至 66.3%，在保持指令遵循能力的同时，还超越了 WizardMath 原有的 64.2% 表现。详见下图 (b)。

语言模型与数据集

我们在编码器和解码器两种架构的 LM 上进行了实验。

• 对于编码器架构的 LM，我们选择了 bert-base-uncased 和 roberta-base 作为预训练骨干。使用了 GLUE 基准中的八项数据集，包括 CoLA、SST-2、MRPC、STS-B、QQP、MNLI、QNLI 和 RTE。
• 对于解码器架构的 LM，我们选择了 LLaMA、Llama 2 和 Code Llama 作为预训练骨干。Fine-tuned 模型包括 WizardLM、WizardMath、WizardCoder-Python 和 Code Alpaca。 我们评估了五种数据集上的三项任务：AlpacaEval（指令遵循）、GSM8K 和 MATH（数学推理），以及 HumanEval 和 MBPP（代码生成）。

请注意，我们在 math_code_data/ 文件夹中提供了 GSM8K、MATH 和 MBPP 数据集，这些数据来自 WizardLM 仓库。其他数据集可以通过我们的代码自动下载。对于语言模型，您可以手动下载，也可以使用我们的代码进行下载。 您还可以修改 utils/load_config.py 文件中的 cache_dir 参数，指定您自己的路径来保存数据集和模型。

模型合并方法

本仓库提供了五种模型合并方法的完整实现，包括： Average Merging、 Task Arithmetic、 Fisher Merging、 RegMean 和 TIES-Merging。 此外，我们还将提出的 DARE 与上述方法结合使用，以进一步提升合并效果。

环境

PyTorch 2.0.1、 transformers 4.33.1、 datasets 2.13.1、 vllm 0.1.4、 human_eval、 numpy，以及 tqdm。

基于编码器的语言模型执行脚本

对于基于编码器的语言模型，我们首先在 GLUE 基准上对其进行微调（支持单任务和多任务两种设置），然后进行推理。我们还提供了使用五种模型合并方法来合并基于编码器的语言模型的脚本。

在 GLUE 上微调的脚本

• 在单任务设置下对 roberta-base 模型在 CoLA 数据集上进行微调的示例：

python train_plms_glue.py --language_model_name roberta-base --dataset_name cola --learning_rate 1e-5 --num_runs 5

• 在多任务设置下对 roberta-base 模型在 CoLA 和 RTE 数据集上进行微调的示例：

python train_plms_glue.py --language_model_name roberta-base --dataset_name cola --multitask_training --auxiliary_dataset_name rte --learning_rate 1e-5 --num_runs 5

使用 DARE 及其他变体进行推理的脚本

• 对 roberta-base 模型进行直接推理（丢弃率 0.0）的示例：

python inference_plms_glue.py --language_model_name roberta-base --weight_mask_rate 0.0

• 对 roberta-base 模型应用 DARE 进行推理（丢弃率 0.9）的示例：

python inference_plms_glue.py --language_model_name roberta-base --weight_mask_rate 0.9 --use_weight_rescale

• 对 roberta-base 模型应用 DropOnly 进行推理（丢弃率 0.9）的示例：

python inference_plms_glue.py --language_model_name roberta-base --weight_mask_rate 0.9

• 对 roberta-base 模型应用基于权重大小的剪枝进行推理（丢弃率 0.9）的示例：

python inference_plms_glue.py --language_model_name roberta-base --weight_mask_rate 0.9 --mask_strategy magnitude

• 对 roberta-base 模型应用掩码细调参数进行推理（丢弃率 0.9）的示例：

python inference_plms_glue.py --language_model_name roberta-base --weight_mask_rate 0.9 --use_weight_rescale --weight_format finetuned_weight

合并模型的脚本

• 将成对微调过的 roberta-base 模型通过平均合并法进行合并的示例：

python merge_plms_glue.py --merging_method_name average_merging --language_model_name roberta-base

• 将成对微调过的 roberta-base 模型通过 Fisher 合并法进行合并的示例：

python merge_plms_glue.py --merging_method_name fisher_merging --normalize_fisher_weight --language_model_name roberta-base

• 将成对微调过的 roberta-base 模型通过平均合并法结合 DARE 进行合并的示例：

python merge_plms_glue.py --merging_method_name mask_merging --use_weight_rescale --language_model_name roberta-base --mask_apply_method average_merging

基于解码器的语言模型执行脚本

由于我们使用的基于解码器的语言模型已经过微调，因此可以直接用于推理。我们还提供了使用两种模型合并方法（平均合并和任务算术）来合并基于解码器的语言模型的脚本。

使用 DARE 及其他变体进行推理的脚本

• 对 WizardMath-7B-V1.0 模型在 GSM8K 数据集上进行直接推理（丢弃率 0.0）的示例：

python inference_llms_instruct_math_code.py --dataset_name gsm8k --finetuned_model_name WizardMath-7B-V1.0 --tensor_parallel_size 1 --weight_mask_rate 0.0

• 对 WizardMath-7B-V1.0 模型在 GSM8K 数据集上应用 DARE 进行推理（丢弃率 0.9）的示例：

python inference_llms_instruct_math_code.py --dataset_name gsm8k --finetuned_model_name WizardMath-7B-V1.0 --tensor_parallel_size 1 --weight_mask_rate 0.9 --use_weight_rescale

• 对 WizardMath-7B-V1.0 模型在 GSM8K 数据集上应用 DropOnly 进行推理（丢弃率 0.9）的示例：

python inference_llms_instruct_math_code.py --dataset_name gsm8k --finetuned_model_name WizardMath-7B-V1.0 --tensor_parallel_size 1 --weight_mask_rate 0.9

• 对 WizardMath-7B-V1.0 模型在 GSM8K 数据集上应用基于权重大小的剪枝进行推理（丢弃率 0.9）的示例：

python inference_llms_instruct_math_code.py --dataset_name gsm8k --finetuned_model_name WizardMath-7B-V1.0 --tensor_parallel_size 1 --weight_mask_rate 0.9 --mask_strategy magnitude

• 对 WizardMath-7B-V1.0 模型在 GSM8K 数据集上应用掩码细调参数进行推理（丢弃率 0.9）的示例：

python inference_llms_instruct_math_code.py --dataset_name gsm8k --finetuned_model_name WizardMath-7B-V1.0 --tensor_parallel_size 1 --weight_mask_rate 0.9 --use_weight_rescale --weight_format finetuned_weight

合并模型的脚本

• 将 WizardLM-13B-V1.2 和 WizardMath-13B-V1.0 模型通过平均合并法进行合并的示例：

python merge_llms_instruct_math_code.py --merge_instruct --merge_math --merging_method_name average_merging --tensor_parallel_size 1

• 将 WizardLM-13B-V1.2 和 WizardMath-13B-V1.0 模型通过任务算术法进行合并的示例：

python merge_llms_instruct_math_code.py --merge_instruct --merge_math --merging_method_name task_arithmetic --scaling_coefficient 1.0 --tensor_parallel_size 1

• 将 WizardLM-13B-V1.2 和 WizardMath-13B-V1.0 模型通过平均合并法结合 DARE（丢弃率 0.2）进行合并的示例：

python merge_llms_instruct_math_code.py --merge_instruct --merge_math --merging_method_name mask_merging --use_weight_rescale --weight_mask_rate 0.2 --mask_apply_method average_merging --tensor_parallel_size 1

❗注 1：在合并基于解码器的语言模型时，我们需要分配的 GPU 数量等于要合并的模型数量乘以张量并行度。例如，如果我们想将 WizardLM-13B-V1.2 和 WizardMath-13B-V1.0 模型以张量并行度为 1 的方式进行合并，则需要分配 2 × 1 = 2 个 GPU。

❗注 2：如果您的设备上 vllm 抛出 “AssertionError: data parallel group is already initialized” 错误，请尝试使用相应的设置运行 direct_inference_merged_llms_instruct_math_code.py。例如，如果在使用平均合并法结合 DARE（丢弃率 0.2）合并 WizardLM-13B-V1.2 和 WizardMath-13B-V1.0 时出现此错误，请运行以下命令来评估指令或数学相关任务：

python direct_inference_merged_llms_instruct_math_code.py --merge_instruct --merge_math --merging_method_name mask_merging --use_weight_rescale --weight_mask_rate 0.2 --mask_apply_method average_merging --tensor_parallel_size 1 --evaluate_task instruct
python direct_inference_merged_llms_instruct_math_code.py --merge_instruct --merge_math --merging_method_name mask_merging --use_weight_rescale --weight_mask_rate 0.2 --mask_apply_method average_merging --tensor_parallel_size 1 --evaluate_task math

AlpacaEval、HumanEval 和 MBPP 的评估流程

对于 AlpacaEval、HumanEval 和 MBPP，我们的代码会保存生成的文件，请额外运行以下评估命令以获得最终的指标。

• 对于 AlpacaEval： 我们使用 alpaca_eval 仓库 中的 chatgpt_fn 来计算胜率。首先，请参考 alpaca_eval 仓库 安装环境。 然后，如果您想评估生成的 WizardLM-13B-V1.2_inference_mask_0.2_rescale_True.json 文件，请运行：

alpaca_eval --model_outputs ./save_gen_instruct_responses_results/alpaca_eval/WizardLM-13B-V1.2_inference_mask_0.2_rescale_True.json --annotators_config chatgpt_fn --name WizardLM-13B-V1.2_inference_mask_0.2_rescale_True

• 对于 HumanEval： 首先，请参考 human-eval 仓库 安装环境。 然后，如果您想评估生成的 WizardCoder-Python-13B-V1.0_inference_mask_0.2_rescale_True.jsonl 文件，请运行：

evaluate_functional_correctness ./save_gen_codes_results/human_eval/WizardCoder-Python-13B-V1.0_inference_mask_0.2_rescale_True.jsonl

• 对于 MBPP： 首先，请参考 bigcode-evaluation-harness 仓库 安装环境。 然后，如果您想评估生成的 WizardCoder-Python-13B-V1.0_inference_mask_0.2_rescale_True.jsonl 文件，请运行：

accelerate launch ./bigcode-evaluation-harness/main.py --tasks mbpp --allow_code_execution --load_generations_path ./save_gen_codes_results/mbpp/WizardCoder-Python-13B-V1.0_inference_mask_0.2_rescale_True.jsonl

致谢

我们感谢 WizardLM 的作者们将其项目代码公开分享。

引用

在使用本项目时，请考虑引用我们的论文。

@inproceedings{yu2024language,
  title={Language Models are Super Mario: Absorbing Abilities from Homologous Models as a Free Lunch},
  author={Yu, Le and Yu, Bowen and Yu, Haiyang and Huang, Fei and Li, Yongbin},
  booktitle={International Conference on Machine Learning},
  year={2024},
  organization={PMLR}
}

星标历史

MergeLM 快速上手指南

MergeLM 是一个基于论文《Language Models are Super Mario》的开源工具，旨在通过DARE（Drop And REscale）技术，无需重新训练或额外 GPU 资源，即可将多个同源大语言模型（LLM）的能力合并到一个模型中。它支持 Encoder-based（如 BERT）和 Decoder-based（如 LLaMA、WizardLM）模型。

环境准备

系统要求

• 操作系统: Linux (推荐) 或 macOS
• Python: 3.8+
• GPU: 可选（推理和合并大模型时推荐），支持 CUDA

前置依赖

请确保已安装以下核心库（版本需严格匹配以避免兼容性问题）：

• PyTorch >= 2.0.1
• transformers == 4.33.1
• datasets == 2.13.1
• vllm == 0.1.4 (用于加速解码器模型推理)
• human_eval, numpy, tqdm

国内加速建议： 建议使用清华或阿里镜像源加速 Python 包下载： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

安装步骤

1. 克隆仓库

   git clone https://github.com/yule-BUAA/MergeLM.git
   cd MergeLM
   

2. 安装依赖 创建虚拟环境并安装所需包（推荐使用 pip）：

   pip install torch==2.0.1 transformers==4.33.1 datasets==2.13.1 vllm==0.1.4 human-eval numpy tqdm
   

   注：若需完整复现所有功能，可参考项目根目录下的 requirements.txt（如有）。

3. 配置数据与模型缓存（可选） 默认情况下，数据集和模型会下载到 Hugging Face 默认缓存目录。如需自定义路径，修改 utils/load_config.py 中的 cache_dir：

   # utils/load_config.py
   cache_dir = "/your/custom/path/to/cache"
   

基本使用

MergeLM 的核心流程分为两步：稀疏化（DARE） 和 模型合并。以下提供最常用的 Decoder-based 模型（如 WizardLM/WizardMath）使用示例。

1. 单模型推理与 DARE 测试

在合并前，可先测试单个模型在使用 DARE 丢弃部分参数后的表现。以下示例对 WizardMath-7B-V1.0 在 GSM8K 数据集上进行推理，丢弃 90% 的增量参数并重新缩放。

python inference_llms_instruct_math_code.py \
    --dataset_name gsm8k \
    --finetuned_model_name WizardMath-7B-V1.0 \
    --tensor_parallel_size 1 \
    --weight_mask_rate 0.9 \
    --use_weight_rescale

参数说明：

• --weight_mask_rate 0.9: 丢弃 90% 的 Delta 参数。
• --use_weight_rescale: 启用 DARE 的重缩放机制，保持模型能力。

2. 合并多个模型

将具备不同能力的模型（如指令遵循能力的 WizardLM 和数学能力的 WizardMath）合并为一个全能模型。

示例：使用平均合并法 (Average Merging) + DARE

python merge_llms_instruct_math_code.py \
    --merge_instruct \
    --merge_math \
    --merging_method_name mask_merging \
    --mask_apply_method average_merging \
    --use_weight_rescale \
    --tensor_parallel_size 1

说明：

• --merge_instruct 和 --merge_math: 指定要合并的模型类型（需在代码或配置中对应具体模型路径）。
• mask_merging: 表示结合 DARE 进行合并。
• 合并后的模型权重通常会保存或在内存中直接用于后续推理。

3. Encoder-based 模型示例 (BERT/RoBERTa)

如果您使用的是 BERT 等编码器模型，可先微调再合并。以下为合并两个微调过的 roberta-base 模型的命令：

python merge_plms_glue.py \
    --merging_method_name mask_merging \
    --use_weight_rescale \
    --language_model_name roberta-base \
    --mask_apply_method average_merging

---

提示：更多高级用法（如 Task Arithmetic、Fisher Merging 等）及详细参数请参考仓库中的 README.md 或脚本帮助信息 (python script_name.py --help)。