PromptSource

PromptSource 是一个用于创建、分享和使用自然语言提示的工具包。

近期的研究表明，大型语言模型具备在零样本情况下对新任务进行合理泛化的能力。例如，GPT-3 证明了大型语言模型具有强大的零样本和少样本能力。随后，FLAN 和 T0 进一步表明，通过大规模多任务微调的预训练语言模型能够实现更强大的零样本性能。这些研究的一个共同点是都使用了提示（prompt），这一方法引起了自然语言处理研究人员和工程师的广泛关注。这也凸显了开发用于创建、分享和使用自然语言提示的新工具的需求。

提示是一种将数据集中的示例映射为自然语言输入和目标输出的函数。PromptSource 包含一个不断增长的提示集合（我们称之为 P3：Public Pool of Prompts）。截至 2022 年 1 月 20 日，P3 中已收录了针对 170 多个英文数据集的约 2,000 条英文提示。

PromptSource 提供了创建和分享自然语言提示的工具（参见 如何创建提示），并通过简单的 API 使用成千上万现有的以及新创建的提示（参见 如何使用提示）。提示以独立的结构化文件形式保存，并采用一种名为 Jinja 的简单模板语言编写。PromptSource 中为 SNLI 提供的提示示例如下：

{{premise}}

问题：这是否意味着“{{hypothesis}}”？是、否，还是也许？||| {{answer_choices[label]}}

您可以在 PromptSource 的托管版本中浏览现有提示：https://huggingface.co/spaces/bigscience/promptsource。

设置

如果您不打算创建新提示，只需运行以下命令即可：

pip install promptsource

否则，您需要在本地安装该仓库：

1. 下载仓库
2. 导航到仓库的根目录
3. 运行 pip install -e . 以安装 promptsource 模块

注意：出于稳定性考虑，目前您需要使用 Python 3.7 环境来执行最后一步。然而，如果您只是打算使用提示，而不通过界面创建新提示，则可以在 setup.py 中移除这一限制，并在本地安装该软件包。

如何使用提示

您可以将提示应用于 Hugging Face 数据集库 中的数据集示例。

# 加载 ag_news 数据集中的一个示例
>>> from datasets import load_dataset
>>> dataset = load_dataset("ag_news", split="train")
>>> example = dataset[1]

# 加载该数据集的提示
>>> from promptsource.templates import DatasetTemplates
>>> ag_news_prompts = DatasetTemplates('ag_news')

# 打印该数据集可用的所有提示。字典的键是唯一标识每个提示的 UUID，值则是封装提示的 `Template` 实例。
>>> print(ag_news_prompts.templates)
{'24e44a81-a18a-42dd-a71c-5b31b2d2cb39': <promptsource.templates.Template object at 0x7fa7aeb20350>, '8fdc1056-1029-41a1-9c67-354fc2b8ceaf': <promptsource.templates.Template object at 0x7fa7aeb17c10>, '918267e0-af68-4117-892d-2dbe66a58ce9': <promptsource.templates.Template object at 0x7fa7ac7a2310>, '9345df33-4f23-4944-a33c-eef94e626862': <promptsource.templates.Template object at 0x7fa7ac7a2050>, '98534347-fff7-4c39-a795-4e69a44791f7': <promptsource.templates.Template object at 0x7fa7ac7a1310>, 'b401b0ee-6ffe-4a91-8e15-77ee073cd858': <promptsource.templates.Template object at 0x7fa7ac7a12d0>, 'cb355f33-7e8c-4455-a72b-48d315bd4f60': <promptsource.templates.Template object at 0x7fa7ac7a1110>}

# 根据名称选择一个提示
>>> prompt = ag_news_prompts["classify_question_first"]

# 将提示应用于示例
>>> result = prompt.apply(example)
>>> print("INPUT: ", result[0])
INPUT:  哪个标签最能描述这篇新闻文章？
卡莱集团正着眼于商用航空航天领域（路透社） 路透社——以善于在国防工业领域做出时机把握精准且有时颇具争议性决策而闻名的私募股权投资公司卡莱集团，近日悄然将赌注押向了该市场的另一细分领域。
>>> print("TARGET: ", result[1])
TARGET:  商业

如果您正在寻找某个数据集特定子集的可用提示，则应使用以下语法：

dataset_name, subset_name = "super_glue", "rte"

dataset = load_dataset(f"{dataset_name}/{subset_name}", split="train")
example = dataset[0]

prompts = DatasetTemplates(f"{dataset_name}/{subset_name}")

您还可以收集所有与各自数据集相关的提示：

>>> from promptsource.templates import TemplateCollection

# 获取 PromptSource 中所有可用提示
>>> collection = TemplateCollection()

# 打印一个字典，其中键是 (数据集名称, 子集名称) 的组合，值则是 `DatasetTemplates` 的实例。
>>> print(collection.datasets_templates)
{('poem_sentiment', None): <promptsource.templates.DatasetTemplates object at 0x7fa7ac7939d0>, ('common_gen', None): <promptsource.templates.DatasetTemplates object at 0x7fa7ac795410>, ('anli', None): <promptsource.templates.DatasetTemplates object at 0x7fa7ac794590>, ('cc_news', None): <promptsource.templates.DatasetTemplates object at 0x7fa7ac798a90>, ('craigslist_bargains', None): <promptsource.templates.DatasetTemplates object at 0x7fa7ac7a2c10>,...}

您可以在 文档 中了解更多关于 PromptSource API 的信息，以便存储、操作和使用提示。

如何创建提示

PromptSource 提供了一个基于 Web 的图形用户界面，使开发者能够使用模板语言编写提示，并立即在不同示例上查看其输出结果。

该应用包含三种模式：

• Sourcing：创建和编写新提示
• Prompted dataset viewer：在整组数据集上检查您编写的（或现有的）提示
• Helicopter view：汇总 P3 当前状态的高级指标

要本地启动该应用，请先确保您已按照 设置 中的步骤操作，然后从仓库的根目录运行：

streamlit run promptsource/app.py

您也可以在 PromptSource 的托管版本中浏览现有提示：https://bigscience.huggingface.co/promptsource。请注意，托管版本禁用了 Sourcing 模式（streamlit run promptsource/app.py -- --read-only）。

写作提示

在创建新的提示之前，您应该阅读贡献指南，其中逐步介绍了如何为提示集合做出贡献。

需要手动下载的数据集

某些数据集无法由datasets库自动处理，需要用户手动下载（例如story_cloze）。

为了也能支持这些数据集，我们要求用户将数据集下载并放置在~/.cache/promptsource目录下。该目录是所有手动下载数据集的根目录。

您可以通过设置PROMPTSOURCE_MANUAL_DATASET_DIR环境变量来覆盖此默认路径。该变量应指向根目录。

开发结构

PromptSource和P3最初是作为BigScience开放研究项目🌸的一部分开发的，这是一项为期一年、旨在研究大型模型和数据集的倡议。该项目的目标是在大型科技公司之外的公共环境中研究语言模型。目前，该项目共有来自50个国家、250多家机构的600名研究人员参与。

特别是，PromptSource和P3是论文《多任务提示训练实现零样本任务泛化》（arXiv:2110.08207）中的第一步。

您可以在此处找到用于复现该论文结果的官方仓库：https://github.com/bigscience-workshop/t-zero。 我们还发布了T0*（读作“T Zero”），这是一系列基于P3训练并在论文中介绍的模型。检查点可在此处获取。

已知问题

OS X上关于Darwin的警告或错误： 请尝试将PyArrow降级到3.0.0版本。

ConnectionRefusedError: [Errno 61] 连接被拒绝： 偶尔会发生。请尝试重启应用程序。

引用

如果您觉得P3或PromptSource有用，请引用以下文献：

@misc{bach2022promptsource,
      title={PromptSource: 自然语言提示的集成开发环境与存储库},
      author={Stephen H. Bach, Victor Sanh, Zheng-Xin Yong, Albert Webson, Colin Raffel, Nihal V. Nayak, Abheesht Sharma, Taewoon Kim, M Saiful Bari, Thibault Fevry, Zaid Alyafeai, Manan Dey, Andrea Santilli, Zhiqing Sun, Srulik Ben-David, Canwen Xu, Gunjan Chhablani, Han Wang, Jason Alan Fries, Maged S. Al-shaibani, Shanya Sharma, Urmish Thakker, Khalid Almubarak, Xiangru Tang, Mike Tian-Jian Jiang, Alexander M. Rush},
      year={2022},
      eprint={2202.01279},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}

PromptSource 快速上手指南

PromptSource 是一个用于创建、共享和使用自然语言提示（Prompts）的工具包。它包含了名为 P3 (Public Pool of Prompts) 的大型提示词库，支持将数据集样本映射为自然语言输入和目标输出，广泛应用于大模型的零样本（Zero-shot）和少样本（Few-shot）学习场景。

环境准备

• 操作系统: Linux, macOS, Windows
• Python 版本:
  • 若仅需使用现有提示词：推荐 Python 3.8+（可修改 setup.py 解除限制）。
  • 若需创建新提示词或使用完整功能：需要 Python 3.7 环境以保证稳定性。
• 前置依赖:
  • datasets (Hugging Face Datasets 库)
  • jinja2 (模板引擎，安装时会自动包含)
  • streamlit (仅当需要运行本地 Web GUI 创建提示词时需要)

安装步骤

方案一：仅使用提示词（推荐）

如果您只需要调用现有的提示词模板，可以直接通过 pip 安装：

pip install promptsource

国内加速建议：如果下载速度慢，可使用清华或阿里镜像源：

pip install promptsource -i https://pypi.tuna.tsinghua.edu.cn/simple

方案二：完整安装（含创建/开发功能）

如果您需要创建新提示词或贡献代码，请克隆仓库并进行本地安装（注意：此模式强制要求 Python 3.7）：

# 1. 下载仓库
git clone https://github.com/bigscience-workshop/promptsource.git
cd promptsource

# 2. 本地安装
pip install -e .

基本使用

以下示例展示如何加载 Hugging Face 数据集，并应用 PromptSource 中的提示词模板。

1. 加载数据集与提示词模板

from datasets import load_dataset
from promptsource.templates import DatasetTemplates

# 加载一个示例数据集 (ag_news)
dataset = load_dataset("ag_news", split="train")
example = dataset[1]

# 加载该数据集对应的所有提示词模板
ag_news_prompts = DatasetTemplates('ag_news')

# 查看可用的提示词 (返回字典，key 为 UUID, value 为 Template 对象)
print(ag_news_prompts.templates)

2. 选择并应用提示词

可以通过模板名称直接选取特定的提示词，并将其应用到数据样本上：

# 通过名称选择特定提示词
prompt = ag_news_prompts["classify_question_first"]

# 应用提示词到示例数据
# result[0] 是生成的输入文本 (INPUT), result[1] 是目标标签 (TARGET)
result = prompt.apply(example)

print("INPUT: ", result[0])
print("TARGET: ", result[1])

输出示例：

INPUT:  What label best describes this news article?
Carlyle Looks Toward Commercial Aerospace (Reuters) Reuters - Private investment firm Carlyle Group...
TARGET:  Business

3. 处理子集数据集

如果数据集包含子集（如 super_glue/rte），请使用 数据集名/子集名 的格式：

dataset_name, subset_name = "super_glue", "rte"

# 加载带子集的数据
dataset = load_dataset(f"{dataset_name}/{subset_name}", split="train")
example = dataset[0]

# 加载对应子集的提示词
prompts = DatasetTemplates(f"{dataset_name}/{subset_name}")

4. 浏览所有可用提示词

您可以获取 PromptSource 中收录的所有数据集及其对应的提示词集合：

from promptsource.templates import TemplateCollection

collection = TemplateCollection()

# 打印所有 (数据集名，子集名) 与其对应的模板对象
print(collection.datasets_templates)

---

进阶提示：如需通过图形界面（GUI）编写和调试新的提示词模板，请在安装完整版本后运行：

streamlit run promptsource/app.py