最新动态？

• ❗️ 2023年4月：$\color{red}{\normalsize{\textbf{想构建你的聊天AI吗？}}}$ 我们发布了UltraChat，使用OpenPrompt和UltraChat进行监督式指令微调，请参阅 ./tutorial/9_UltraChat.py。
• 2022年8月：感谢贡献者zhiyongLiu1114，OpenPrompt现在支持PaddlePaddle中的ERNIE 1.0。
• 2022年7月：OpenPrompt现在支持OPT。
• 2022年6月：OpenPrompt荣获ACL 2022最佳演示论文奖。
• 2022年3月：我们新增了一个教程，以回应issue 124，该教程使用自定义的tokenizer_wrapper来执行OpenPrompt默认配置中未包含的任务（例如，Bert分词器+T5模型）。
• 2022年2月：请查看我们的姊妹仓库OpenDelta！
• 2021年12月：pip install openprompt
• 2021年12月：增加了SuperGLUE性能
• 2021年12月：通过添加新的verbalizer：GenerationVerbalizer以及一个教程：4.1_all_tasks_are_generation.py，我们支持所有任务的生成范式。
• 2021年11月：我们现在发布了一篇论文OpenPrompt：一个用于提示学习的开源框架。
• 2021年11月：PrefixTuning现在支持t5。
• 2021年11月：我们对上一版本进行了重大更新，引入了灵活的模板语言！部分文档已过时，我们将尽快修复。

概述

提示学习是将预训练语言模型（PLMs）适配到下游NLP任务的最新范式，它通过文本模板修改输入文本，并直接利用PLMs完成预训练任务。本库提供了一个标准、灵活且可扩展的框架，用于部署提示学习流程。OpenPrompt支持直接从huggingface transformers加载PLMs。未来，我们还将支持其他库实现的PLMs。有关提示学习的更多资源，请参阅我们的论文列表。

通过OpenPrompt你能做什么？

• 使用当前提示学习方法的实现。* 我们已经按照统一的标准实现了多种提示方法，包括模板化、语义映射和优化策略。你可以轻松调用并理解这些方法。
• 设计你自己的提示学习工作。 借助OpenPrompt的可扩展性，你可以快速实践自己的提示学习想法。

安装

注意：请使用Python 3.8及以上版本运行OpenPrompt

使用Pip

我们的仓库已在Python 3.8+ 和PyTorch 1.8.1+ 上测试通过，可通过以下方式使用pip安装OpenPrompt：

pip install openprompt

若要体验最新功能，你也可以从源码安装OpenPrompt。

使用Git

从GitHub克隆仓库：

git clone https://github.com/thunlp/OpenPrompt.git
cd OpenPrompt
pip install -r requirements.txt
python setup.py install

若需修改代码：

python setup.py develop

使用OpenPrompt

基础概念

一个 PromptModel 对象包含一个 PLM、一个（或多个）Template 以及一个（或多个）Verbalizer。其中，Template 类用于将原始输入包裹在模板中，而 Verbalizer 类则负责在标签与当前词汇表中的目标词之间建立映射。一个 PromptModel 对象实际参与训练和推理过程。

通过一个简单示例介绍

借助 OpenPrompt 的模块化和灵活性，您可以轻松地构建一个提示学习流水线。

第一步：定义任务

第一步是确定当前的 NLP 任务，思考您的数据是什么样的，以及您希望从这些数据中获得什么！也就是说，这一步的核心是确定任务的 classes（类别）和 InputExample（输入示例）。为了简单起见，我们以情感分析为例。 tutorial_task。

from openprompt.data_utils import InputExample
classes = [ # 情感分析有两个类别，一个是负面，一个是正面
    "negative",
    "positive"
]
dataset = [ # 为了简单起见，这里只有两个示例
    # text_a 是数据的输入文本，其他一些数据集可能在一个示例中包含多个输入句子。
    InputExample(
        guid = 0,
        text_a = "阿尔伯特·爱因斯坦是他那个时代最伟大的思想家之一。",
    ),
    InputExample(
        guid = 1,
        text_a = "这部电影拍得很糟糕。",
    ),
]

第二步：选择预训练语言模型（PLM）作为基础模型

为您的任务选择一个合适的 PLM。不同的模型具有不同的特性，我们鼓励您使用 OpenPrompt 来探索各种 PLM 的潜力。OpenPrompt 兼容 huggingface 上的模型。

from openprompt.plms import load_plm
plm, tokenizer, model_config, WrapperClass = load_plm("bert", "bert-base-cased")

第三步：定义模板

Template（模板）是对原始输入文本的一种修改方式，也是提示学习中最重要的一部分。我们在第一步中已经定义了 text_a。

from openprompt.prompts import ManualTemplate
promptTemplate = ManualTemplate(
    text = '{"placeholder":"text_a"} It was {"mask"}',
    tokenizer = tokenizer,
)

第四步：定义词表

Verbalizer（词表）是提示学习中的另一个重要组成部分（但不是必需的），它将原始标签（我们之前定义为 classes，还记得吗？）映射到一组标签词。例如，我们将 negative（负面）类映射到“bad”这个词，而将 positive（正面）类映射到“good”、“wonderful”、“great”等词。

from openprompt.prompts import ManualVerbalizer
promptVerbalizer = ManualVerbalizer(
    classes = classes,
    label_words = {
        "negative": ["bad"],
        "positive": ["good", "wonderful", "great"],
    },
    tokenizer = tokenizer,
)

第五步：组合成 PromptModel

有了任务、PLM、模板和词表之后，我们可以将它们组合成一个 PromptModel。需要注意的是，虽然这个例子只是简单地将三个模块组合在一起，但实际上您还可以定义它们之间更复杂的交互关系。

from openprompt import PromptForClassification
promptModel = PromptForClassification(
    template = promptTemplate,
    plm = plm,
    verbalizer = promptVerbalizer,
)

第六步：定义数据加载器

PromptDataLoader 基本上是 PyTorch 数据加载器的提示版本，它也包含了分词器、模板和分词器包装类。

from openprompt import PromptDataLoader
data_loader = PromptDataLoader(
    dataset = dataset,
    tokenizer = tokenizer,
    template = promptTemplate,
    tokenizer_wrapper_class=WrapperClass,
)

第七步：训练与推理

完成了！我们可以像在 PyTorch 中进行其他操作一样，进行训练和推理。

import torch

# 使用带有提示的预训练 MLM 进行零样本推理
promptModel.eval()
with torch.no_grad():
    for batch in data_loader:
        logits = promptModel(batch)
        preds = torch.argmax(logits, dim = -1)
        print(classes[preds])
# 预测结果将是 1 和 0，分别对应 'positive' 和 'negative'

请参阅我们的教程脚本和文档以获取更多详细信息。

数据集

我们在 dataset/ 文件夹中提供了一系列下载脚本，您可以随意使用它们来下载基准数据集。

性能报告

OpenPrompt 支持的组合方式非常多。我们正在尽最大努力尽快测试不同方法的性能，并会不断更新到表格中。我们也鼓励用户为自己的任务找到最佳超参数，并通过提交 Pull Request 报告结果。

已知问题

未来会有重大改进和增强。

• 我们对上一版本进行了重大更改，因此部分文档已过时。我们会尽快修复。

引用

如果您在工作中使用了 OpenPrompt，请引用我们的论文：

@article{ding2021openprompt,
  title={OpenPrompt: An Open-source Framework for Prompt-learning},
  author={Ding, Ning and Hu, Shengding and Zhao, Weilin and Chen, Yulin and Liu, Zhiyuan and Zheng, Hai-Tao and Sun, Maosong},
  journal={arXiv preprint arXiv:2111.01998},
  year={2021}
}

贡献者

我们感谢所有为该项目做出贡献的人士，同时也欢迎更多的贡献者！

OpenPrompt 快速上手指南

OpenPrompt 是一个开源的提示学习（Prompt-learning）框架，旨在帮助开发者灵活地将预训练语言模型（PLM）适配到各种下游 NLP 任务中。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux / macOS / Windows
• Python 版本：3.8 或更高版本 (必须)
• PyTorch 版本：1.8.1 或更高版本
• 依赖库：transformers (用于加载 HuggingFace 模型)

安装步骤

您可以选择通过 pip 直接安装稳定版，或通过源码安装以获取最新功能。

方式一：使用 Pip 安装（推荐）

pip install openprompt

提示：国内用户若下载较慢，可使用清华源加速： pip install openprompt -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：从源码安装（获取最新特性）

git clone https://github.com/thunlp/OpenPrompt.git
cd OpenPrompt
pip install -r requirements.txt
python setup.py install

如果您需要修改源代码进行开发，请使用以下命令代替最后一步：

python setup.py develop

基本使用

OpenPrompt 的核心流程包含七个步骤：定义任务、加载模型、定义模板、定义 verbalizer、组合模型、构建数据加载器、训练/推理。

以下是一个基于情感分析任务的零样本（Zero-shot）推理最小示例：

1. 定义任务与数据

首先确定分类类别并构建输入样本。

from openprompt.data_utils import InputExample

classes = [ # 定义两个类别：负面和正面
    "negative",
    "positive"
]

dataset = [ # 构造简单的测试数据
    InputExample(
        guid = 0,
        text_a = "Albert Einstein was one of the greatest intellects of his time.",
    ),
    InputExample(
        guid = 1,
        text_a = "The film was badly made.",
    ),
]

2. 加载预训练模型 (PLM)

选择 backbone 模型（此处以 BERT 为例）。

from openprompt.plms import load_plm

plm, tokenizer, model_config, WrapperClass = load_plm("bert", "bert-base-cased")

3. 定义模板 (Template)

模板用于将原始输入转换为适合 PLM 处理的格式，{"mask"} 处为模型预测位置。

from openprompt.prompts import ManualTemplate

promptTemplate = ManualTemplate(
    text = '{"placeholder":"text_a"} It was {"mask"}',
    tokenizer = tokenizer,
)

4. 定义 Verbalizer

Verbalizer 将任务标签映射到词汇表中的具体单词。

from openprompt.prompts import ManualVerbalizer

promptVerbalizer = ManualVerbalizer(
    classes = classes,
    label_words = {
        "negative": ["bad"],
        "positive": ["good", "wonderful", "great"],
    },
    tokenizer = tokenizer,
)

5. 组合 PromptModel

将上述组件组合成一个完整的可训练/推理模型。

from openprompt import PromptForClassification

promptModel = PromptForClassification(
    template = promptTemplate,
    plm = plm,
    verbalizer = promptVerbalizer,
)

6. 构建 DataLoader

创建专门用于 Prompt 学习的数据加载器。

from openprompt import PromptDataLoader

data_loader = PromptDataLoader(
    dataset = dataset,
    tokenizer = tokenizer,
    template = promptTemplate,
    tokenizer_wrapper_class=WrapperClass,
)

7. 执行推理

像使用普通 PyTorch 模型一样进行推理。

import torch

promptModel.eval()
with torch.no_grad():
    for batch in data_loader:
        logits = promptModel(batch)
        preds = torch.argmax(logits, dim = -1)
        print(classes[preds])
        
# 预期输出：
# positive
# negative

更多高级用法（如微调训练、自定义模板、支持 T5/OPT 等模型）请参考官方 Tutorial 和 文档。