一种参数高效的迁移学习统一框架

这是论文的官方实现：

迈向参数高效迁移学习的统一视角
何俊贤*、周春婷*、马学哲、泰勒·伯格-柯克帕特里克、格雷厄姆·诺伊比格
ICLR 2022（亮点论文）

参数高效的迁移学习（PETL）方法仅调整少量（额外的）参数，以将大型预训练模型适配到下游任务中。本文揭示了现有PETL方法（如Adapter、前缀调优和LoRA）之间的联系，并提出了一种统一框架来解释它们的设计。该统一框架可以通过在几个定义的设计维度上改变取值来实例化现有的方法，同时也为设计新的PETL方法提供了原则性的指导。在本仓库以及论文中，我们展示了如何从统一框架中轻松推导出新的最先进PETL方法。

更新

2022年3月24日

我们的MAM Adapter和并行Adapter已被集成到adapter-transformers包中（感谢其开发者！），详情请参阅他们的发布博客。借助adapter-transformers，您可以轻松地将MAM Adapter或并行Adapter应用于各种任务和预训练模型，例如，以下代码基于一个预训练模型设置了一个MAM Adapter：

# 这是基于adapter-transformers包的用法示例，而非本仓库
from transformers.adapters import MAMConfig

config = MAMConfig()
model.add_adapter("mam_adapter", config=config)

依赖项

本仓库是Hugging Face Transformers仓库的一个分支（于2021年6月23日分叉），代码已在PyTorch 1.9.0上测试通过。请在安装好PyTorch后，按照以下说明安装依赖项：

git clone git@github.com:jxhe/unify-parameter-efficient-tuning.git
cd unify-parameter-efficient-tuning

# 从本仓库安装transformers
pip install -e .

# 安装其他依赖
pip install datasets==1.11.0

# 用于计算英-罗翻译的BLEU分数
git clone git@github.com:moses-smt/mosesdecoder.git

使用方法

MAM-Adapter

运行以下命令，即可在XSum、英-罗翻译、MNLI或SST2数据集上复现论文中的MAM-Adapter结果：

bash exps/run_{xsum|en_ro|glue}.sh

我们在一台具有≥40GB显存的A6000或A100 GPU上完成了所有实验——如果您的GPU显存较小，可能需要降低bsz（对于英-罗翻译则是max_tokens_per_batch），并相应增加脚本中的gradient_steps值，以匹配我们的有效批次大小。您也可以使用python -m torch.distributed.launch --nproc_per_node {num_gpus} 轻松地利用多块GPU进行数据并行训练。

训练时间： 在我们使用单块GPU的实验中，XSum需时24小时（A100）或50小时（A6000），英-罗翻译需时20小时（A6000），SST2需时2小时，MNLI需时10小时。

其他PETL变体的高级用法

正如论文所示，我们的统一框架可以通过在设计维度上调整参数，轻松实例化不同的PETL变体。您可以修改脚本以训练我们在论文中研究的其他PETL变体，我们在run_xsum.sh中提供了一些示例，这些示例也可直接应用于其他脚本：

# ----- MAM Adapter -----
attn_mode="prefix"
attn_option="concat"
attn_composition="add"
attn_bn=30  # 注意力瓶颈维度

ffn_mode="adapter"
ffn_option="parallel"
ffn_adapter_layernorm_option="none"
ffn_adapter_init_option="lora"
ffn_adapter_scalar="4"
ffn_bn=512 # 前馈网络瓶颈维度

# ----- 前缀调优基线 -----
# attn_mode="prefix"
# attn_option="concat"
# attn_composition="add"
# attn_bn=200  # 注意力瓶颈维度

# ffn_mode="none"
# ffn_option="parallel"
# ffn_adapter_layernorm_option="none"
# ffn_adapter_init_option="lora"
# ffn_adapter_scalar="4"
# ffn_bn=512 # 前馈网络瓶颈维度

# ----- 霍尔斯比Adapter -----
# attn_mode="adapter"
# attn_option="sequential"
# attn_composition="add"
# attn_bn=200  # 注意力瓶颈维度

# ffn_mode="adapter"
# ffn_option="sequential"
# ffn_adapter_layernorm_option="none"
# ffn_adapter_init_option="bert"
# ffn_adapter_scalar="1"
# ffn_bn=200 # 前馈网络瓶颈维度


# ----- 缩放并行FFN Adapter -----
# attn_mode="none"
# attn_option="parallel"
# attn_composition="add"
# attn_bn=200  # 注意力瓶颈维度

# ffn_mode="adapter"
# ffn_option="parallel"
# ffn_adapter_layernorm_option="none"
# ffn_adapter_init_option="lora"
# ffn_adapter_scalar="4"
# ffn_bn=512 # 前馈网络瓶颈维度

# ----- 提示调优 -----
# attn_mode="prompt_tuning"
# attn_option="parallel"
# attn_composition="add"
# attn_bn=200  # 注意力瓶颈维度

# ffn_mode="none"
# ffn_option="parallel"
# ffn_adapter_layernorm_option="none"
# ffn_adapter_init_option="lora"
# ffn_adapter_scalar="4"
# ffn_bn=512 # 前馈网络瓶颈维度

# ----- BitFit -----
# attn_mode="bitfit"
# attn_option="parallel"
# attn_composition="add"
# attn_bn=200  # 注意力瓶颈维度

# ffn_mode="none"
# ffn_option="parallel"
# ffn_adapter_layernorm_option="none"
# ffn_adapter_init_option="lora"
# ffn_adapter_scalar="4"
# ffn_bn=512 # 前馈网络瓶颈维度

# ----- LoRA -----
# attn_mode="lora"
# attn_option="none"
# attn_composition="add"
# attn_bn=16

# # 将ffn_mode设置为'lora'以同时在前馈网络中使用LoRA

# ffn_mode="none"
# ffn_option="none"
# ffn_adapter_layernorm_option="none"
# ffn_adapter_init_option="bert"
# ffn_adapter_scalar="1"
# ffn_bn=16

# lora_alpha=32
# lora_dropout=0.1
# lora_init="lora"

以上展示的只是众多变体中的一部分。有关这些参数的完整说明，请参阅petl/options.py中的此处。通过更改脚本中的这些值，可以复现论文中报告的所有变体的结果。

引用

@inproceedings{he2022towards,
title={迈向参数高效迁移学习的统一视角},
author={何俊贤、周春婷、马学哲、泰勒·伯格-柯克帕特里克、格雷厄姆·诺伊比格},
booktitle={国际表征学习会议},
year={2022},
url={https://openreview.net/forum?id=0RDcd5Axok}
}

unify-parameter-efficient-tuning 快速上手指南

本工具是一个统一的参数高效迁移学习（PETL）框架，基于 ICLR 2022 Spotlight 论文实现。它通过统一视角整合了 Adapter、Prefix Tuning、LoRA 等多种方法，支持灵活配置以复现现有算法或设计新变体。

环境准备

• 操作系统: Linux (推荐)
• Python: 建议 3.7+
• PyTorch: 需预先安装版本 1.9.0 (代码在此版本测试通过)
• GPU: 推荐显存 >= 40GB (如 A6000/A100)。若显存较小，需在运行脚本时减小 bsz (或 max_tokens_per_batch) 并增加 gradient_steps。

安装步骤

请依次执行以下命令克隆仓库并安装依赖。国内用户可使用 -i 参数指定清华或阿里镜像源加速安装。

# 1. 克隆仓库
git clone git@github.com:jxhe/unify-parameter-efficient-tuning.git
cd unify-parameter-efficient-tuning

# 2. 安装本仓库修改版的 transformers (开发模式)
# 国内加速示例：pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install -e .

# 3. 安装其他依赖 (datasets 指定版本)
pip install datasets==1.11.0

# 4. (可选) 克隆 mosesdecoder 用于计算 en-ro 翻译任务的 BLEU 分数
git clone git@github.com:moses-smt/mosesdecoder.git

基本使用

1. 运行预置实验 (MAM-Adapter)

框架提供了脚本来复现论文中 XSum、en-ro 翻译、MNLI 和 SST2 数据集上的 MAM-Adapter 结果。根据任务选择对应的脚本运行：

# 替换 {xsum|en_ro|glue} 为具体任务名称
bash exps/run_{xsum|en_ro|glue}.sh

多卡训练提示： 若需使用多张 GPU 进行数据并行训练，可在命令前添加 torch distributed 启动器：

python -m torch.distributed.launch --nproc_per_node {num_gpus} [原命令]

2. 配置其他 PETL 变体 (高级用法)

该框架的核心优势是通过调整参数实例化不同的 PETL 方法（如 LoRA, Prefix Tuning, Houlsby Adapter 等）。你可以直接修改 .sh 脚本中的环境变量来切换方法。

以下是在脚本中配置不同方法的示例片段（取消注释即可生效）：

# ----- 示例：切换为 LoRA -----
# 设置注意力机制模式为 lora
attn_mode="lora"
attn_option="none"
attn_composition="add"
attn_bn=16

# FFN 部分设置为 none (或者设为 'lora' 以在 FFN 也使用 LoRA)
ffn_mode="none"
ffn_option="none"
ffn_adapter_layernorm_option="none"
ffn_adapter_init_option="bert"
ffn_adapter_scalar="1"
ffn_bn=16

# LoRA 特有参数
lora_alpha=32
lora_dropout=0.1
lora_init="lora"

# ----- 示例：切换为 Prefix Tuning -----
# attn_mode="prefix"
# attn_option="concat"
# attn_composition="add"
# attn_bn=200
# ffn_mode="none"
# ... (其他参数保持默认或参考脚本注释)

完整的参数说明及所有可用变体配置请参考源码 petl/options.py。通过组合 attn_mode, ffn_mode, attn_option 等维度，你可以轻松构建新的参数高效微调策略。