P-tuning v2

源代码和数据，用于：

• [ACL 2022] P-Tuning v2：提示调优在不同规模和任务上均可与微调相媲美
• [EMNLP 2023 论文集] 参数高效的提示调优使神经文本检索器具备泛化能力和校准性 [代码]

一种优化的提示调优策略，在小型/中型模型以及序列标注任务上实现了与微调相当的性能。

请参阅我们之前的版本 P-tuning v1，适用于知识探测和少样本 SuperGLUE 任务。如果您能为我们仓库点赞，将极大地激励我们继续努力 :)

您可能也会对我们最近的工作感兴趣：GLM-130B：一个开源的双语预训练模型（2022年10月6日）。这是一款开源的大规模语言模型，在多个基准测试中表现超越 GPT-3 175B。只需 4 张 RTX 3090 或 8 张 RTX 2080 Ti 卡，即可免费获取模型权重、进行推理以及使用 P-Tuning v2！免费获取

P-tuning v2 采用了 深度提示调优 方法，即为预训练 Transformer 的每一层输入应用连续提示。深度提示调优提升了连续提示的表达能力，并缩小了其与微调之间的差距，尤其是在小型模型和复杂任务上。

感谢 @rainatam 在整理代码以供发布方面所做的共同努力！

常见问题

1. 一些读者注意到 SuperGLUE 中 P-tuning (v1) 和 P-tuning v2 之间存在 “不匹配”：这是因为 P-tuning 的 SuperGLUE 实验为了与 PET 进行公平比较，遵循了 PET 的实验设置，即骨干预训练模型参数与连续提示嵌入共同调优；而 P-tuning v2 则遵循 Prefix tuning 和 Lester 等人的参数高效设置，即冻结骨干预训练模型参数。

复现提示

由于我们在论文中报告的实验均是在 NVIDIA DGX-A100 服务器上进行的（这类设备可能难以获得），因此我们使用以下配置在 BERT-large/RoBERTa-large 上重新实现了 P-tuning v2 的结果：

• 配备 NVIDIA GeForce RTX 3090 (24G) 显卡的 Ubuntu 服务器
• CUDA 11.1
• 特定版本的软件包（如下所示）

我们注意到，最佳超参数可能会受到服务器环境和软件包版本的影响。如果您没有完全相同的环境，我们强烈建议您基于我们提供的示例超参数搜索脚本 search_script 和结果收集脚本 search.py，在您的环境中进行超参数搜索。

环境搭建

我们的实验是在 Anaconda3 环境下进行的。如果您已安装 Anaconda3，请创建 P-tuning v2 的环境：

conda create -n pt2 python=3.8.5
conda activate pt2

完成基础 Conda 环境的搭建后，通过以下命令安装 PyTorch 相关包：

conda install -n pt2 pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=11.0 -c pytorch

最后，安装其他所需的 Python 包：

pip install -r requirements.txt

数据

对于 SuperGLUE 和 SQuAD 数据集，我们直接从 Huggingface Datasets API 下载（已嵌入到我们的代码中）。

对于序列标注（NER、SRL）数据集，我们准备了一个非官方的数据包 这里。下载后，请将其解压到项目根目录。请自行承担使用风险。

训练

运行 run_script 中的训练脚本（例如 RoBERTa 对于 RTE）：

bash run_script/run_rte_roberta.sh

已实现的结果

目前我们已在以下任务和数据集上发布了重新实现的结果。更多实现内容将很快推出。

BERT-large 的已发布结果

	BoolQ	COPA	RTE	WiC	WSC	CoNLL04	OntoNotes 5.0	CoNLL12
结果	74.3	77.0	80.1	75.1	68.3	84.5	86.4	85.3
总 epoch 数	100	80	60	80	80	40	30	45
最佳 epoch 数	58	12	30	56	17	33	24	43

RoBERTa-large 的已发布结果

	BoolQ	COPA	RTE	WiC	WSC	CoNLL03	CoNLL04	OntoNotes 5.0	CoNLL12	CoNLL05 WSJ	CoNLL05 Brown	SQuAD 1.1	SQuAD 2.0
结果	84.0	92.0	86.6	73.7	64.4	91.8	88.4	90.1	84.7	89.4	83.9	88.1/94.2	81.3/84.7
总 epoch 数	100	120	100	50	10	30	80	60	45	15	-	30	10
最佳 epoch 数	86	78	65	31	3	28	45	59	37	13	-	24	9

有关其他超参数，请参考训练脚本。如果您无法在最佳 epoch 达到报告的结果，很可能是环境不匹配所致，此时需要进行超参数搜索。

引用

如果您认为我们的工作有所帮助，请引用我们的论文：

@article{DBLP:journals/corr/abs-2110-07602,
  author    = {Xiao Liu and
               Kaixuan Ji and
               Yicheng Fu and
               Zhengxiao Du and
               Zhilin Yang and
               Jie Tang},
  title     = {P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks},
  journal   = {CoRR},
  volume    = {abs/2110.07602},
  year      = {2021},
  url       = {https://arxiv.org/abs/2110.07602},
  eprinttype = {arXiv},
  eprint    = {2110.07602},
  timestamp = {Fri, 22 Oct 2021 13:33:09 +0200},
  biburl    = {https://dblp.org/rec/journals/corr/abs-2110-07602.bib},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}

P-tuning-v2 快速上手指南

P-tuning v2 是一种优化的提示微调（Prompt Tuning）策略，通过在所有 Transformer 层输入中应用连续提示（Deep Prompt Tuning），使模型在中小规模及序列标注任务上的表现可与全量微调（Fine-tuning）相媲美。

环境准备

• 操作系统: Linux (推荐 Ubuntu)
• GPU: NVIDIA GPU (显存建议 24GB+, 如 RTX 3090)，需支持 CUDA 11.0/11.1
• 包管理器: Anaconda3
• Python 版本: 3.8.5

安装步骤

1. 创建并激活 Conda 环境

conda create -n pt2 python=3.8.5
conda activate pt2

2. 安装 PyTorch 及相关组件

根据官方复现环境，安装指定版本的 PyTorch 和 CUDA 工具包：

conda install -n pt2 pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=11.0 -c pytorch

国内加速建议：若下载速度慢，可添加清华源 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/ 或使用 pip 配合国内镜像安装对应 wheel 包。

3. 安装其他依赖

克隆项目代码后，进入目录安装 Python 依赖：

pip install -r requirements.txt

国内加速建议：使用 pip 国内镜像加速安装：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

4. 数据准备

• SuperGLUE / SQuAD: 代码内置了 Huggingface Datasets API，首次运行时会自动下载。
• 序列标注任务 (NER, SRL): 需手动下载非官方数据包。
  • 下载地址：P-tuning-v2_data.tar.gz
  • 操作：下载后解压至项目根目录。

基本使用

以下以在 RoBERTa-large 模型上运行 RTE 任务为例：

1. 确保已准备好数据集。
2. 执行官方提供的训练脚本：

bash run_script/run_rte_roberta.sh

注意：

• 最佳超参数可能对服务器环境和包版本敏感。如果无法复现论文结果，建议参考 search_script 目录下的脚本在你的环境中进行超参数搜索。
• 更多任务的运行脚本请查看 run_script 目录。