P-tuning

❗ 新闻

🌟 [2022-10-06] 我们非常高兴地推出 GLM-130B：一个开源的双语预训练模型。这是一个开源的大规模语言模型，在多个基准测试中表现超越 GPT-3 175B。只需 4 张 RTX 3090 或 8 张 RTX 2080 Ti，即可免费获取模型权重并进行推理和 P-Tuning！立即访问！

🌟 [2022-07-14] 论文 参数高效的提示调优使神经文本检索器具备泛化能力和校准性 已发布！请查看我们的 代码。

🌟 [2021-10-15] P-tuning v2 已发布！请访问我们的 GitHub 仓库。

一种全新的语言模型调优方法。附带论文 [``GPT 也懂了''](https://arxiv.org/abs/2103.10385) 的代码和数据集。

Xiao Liu*, Yanan Zheng*, Zhengxiao Du, Ming Ding, Yujie Qian, Zhilin Yang, Jie Tang

您可能也会对我们的另一项工作 GLM 感兴趣：所有 NLP 任务都是生成任务：一种通用的预训练框架

如何使用我们的代码

我们已发布了用于 LAMA 和少样本 SuperGLUE (32-dev) 实验的代码和数据集。详情请参阅相应子目录中的 README.md 和 requirement.txt 文件。

LAMA 和 FewGLUE_32dev 数据集现已开放下载。LAMA 数据集应放置在 ./data 目录下，而 SuperGLUE 数据集则应放置在 ./（项目根目录）下。

引用方式

如果您认为我们的工作有所帮助，请引用以下论文：

    @article{liu2021gpt,
    title={GPT 也懂了},
    author={刘晓、郑雅楠、杜正霄、丁明、钱宇杰、杨志林、唐杰},
    journal={arXiv:2103.10385},
    year={2021}
    }

P-tuning 快速上手指南

P-tuning 是一种新颖的语言模型微调方法，旨在让预训练模型（如 GPT）更好地理解和执行下游任务。本指南基于官方仓库 THUDM/P-tuning 整理，帮助开发者快速启动 LAMA 和 Few-shot SuperGLUE 实验。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux (推荐) 或 macOS
• Python 版本：Python 3.6+
• 深度学习框架：PyTorch (需匹配您的 CUDA 版本)
• 硬件建议：支持 CUDA 的 NVIDIA GPU（显存需求视模型大小而定）

前置依赖安装： 建议使用 pip 安装基础依赖。国内用户可使用清华源加速安装：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

注意：具体的依赖包列表请查看项目对应子目录下的 requirements.txt 文件。

安装步骤与数据配置

本项目代码已开源，需克隆仓库并配置数据集。

1. 克隆代码库

git clone https://github.com/THUDM/P-tuning.git
cd P-tuning

2. 数据集下载与放置

项目主要涉及 LAMA 和 FewGLUE_32dev (SuperGLUE few-shot) 两个数据集。请按照以下路径规范放置数据：

• LAMA 数据集：

  • 下载地址：LAMA Dataset
  • 放置路径：解压后放入项目根目录下的 ./data 文件夹中。

• FewGLUE_32dev 数据集：

  • 下载地址：FewGLUE_32dev Repo
  • 放置路径：直接放置在项目根目录 ./ 下。

最终目录结构应类似于：

P-tuning/
├── data/
│   └── [LAMA 数据集内容]
├── FewGLUE_32dev/
│   └── [SuperGLUE 数据集内容]
├── src/
├── requirements.txt
└── README.md

基本使用

完成环境配置和数据准备后，您可以参考各任务子目录下的具体脚本运行实验。以下以典型的训练流程为例（具体参数请参考对应任务的 README.md）：

运行示例

进入对应的实验目录（例如 LAMA 或 SuperGLUE 的子目录），执行训练脚本。假设当前位于包含训练脚本的目录：

python train.py \
    --model_name_or_path bert-base-uncased \
    --task_name lama \
    --data_dir ./data \
    --output_dir ./outputs \
    --do_train \
    --do_eval \
    --per_device_train_batch_size 16 \
    --learning_rate 5e-4 \
    --num_train_epochs 10

提示：

1. --model_name_or_path 可替换为您本地下载的预训练模型路径。
2. 对于 SuperGLUE 任务，请将 --task_name 和 --data_dir 调整为对应的配置。
3. 更多高级用法（如 P-tuning v2 或 GLM-130B 适配）请访问 P-tuning v2 仓库。

---

如果您在研究中使用了此工具，请引用论文：

Liu, Xiao, et al. "GPT Understands, Too." arXiv preprint arXiv:2103.10385 (2021).