promptbase

promptbase 是一个不断发展的资源、最佳实践和示例脚本的集合，旨在从 GPT-4 等基础模型（Foundation Models）中激发最佳性能。我们目前托管了演示 Medprompt 方法 的脚本，包括我们如何将这套提示工程技术（"Medprompt+"）进一步扩展到非医疗领域的示例：

在不久的将来，promptbase 还将提供更多的案例研究和结构化访谈，围绕我们在提示工程背后所采取的科学流程展开。我们还将提供专门的深度剖析，介绍那些能强化提示工程流程的专业工具。敬请期待！

Medprompt 与提示的力量

@article{nori2023can,
  title={Can Generalist Foundation Models Outcompete Special-Purpose Tuning? Case Study in Medicine},
  author={Nori, Harsha and Lee, Yin Tat and Zhang, Sheng and Carignan, Dean and Edgar, Richard and Fusi, Nicolo and King, Nicholas and Larson, Jonathan and Li, Yuanzhi and Liu, Weishung and others},
  journal={arXiv preprint arXiv:2311.16452},
  year={2023}
}
    

在最近的一项研究中，我们展示了如何将几种提示策略组合成一种我们称之为 Medprompt 的方法，从而有效地引导像 GPT-4 这样的通用模型实现顶级性能，甚至可以与专门针对医学领域微调（Finetuned）的模型相媲美。Medprompt 组合了三种不同的策略——包括动态少样本选择（Dynamic Few-shot Selection）、自生成思维链（Self-generated Chain of Thought）和选项洗牌集成（Choice-shuffle Ensembling）——以激发 GPT-4 的专家级表现。我们在此简要描述这些策略：

• 动态少样本（Dynamic Few Shots）：少样本学习（Few-shot learning）——向基础模型提供任务和响应的几个示例——使模型能够快速适应特定领域并学习遵循任务格式。为了简单和高效，用于特定任务提示的少样本示例通常是固定的；它们在不同的测试示例中保持不变。这就要求所选的少样本示例具有广泛的代表性，并与广泛的文本示例分布相关。满足这些要求的一种方法是让领域专家精心手工制作样本。即便如此，这种方法也不能保证策划好的固定少样本示例能恰当地代表每一个测试示例。然而，如果有足够多的可用数据，我们可以为不同的任务输入选择不同的少样本示例。我们将这种方法称为采用动态少样本示例。该方法利用一种机制，根据示例与当前案例的相似性来识别示例。对于 Medprompt，我们通过以下方式识别具有代表性的少样本示例：给定一个测试示例，我们使用嵌入空间（Embedding Space）中的 k近邻聚类（k-NN clustering）选择 k 个语义相似的训练示例。具体来说，我们首先使用 OpenAI 的 text-embedding-ada-002 模型对少样本学习的候选样本进行嵌入。然后，对于每个测试问题 x，我们从训练集中检索其最近的 k 个邻居 x1, x2, ..., xk（根据 text-embedding-ada-002 嵌入空间中的距离）。这些示例——即在嵌入空间中与测试问题最相似的示例——最终被注册到提示词中。

• 自生成思维链（Self-Generated Chain of Thought, CoT）：思维链使用自然语言陈述，例如“让我们一步步思考”，明确鼓励模型生成一系列中间推理步骤。该方法已被发现能显著提高基础模型执行复杂推理的能力。大多数思维链方法的核心是利用专家手动编写带有思维链的少样本示例用于提示。我们不再依赖人类专家，而是寻求一种机制来自动化创建思维链示例。我们发现，可以简单地要求 GPT-4 为训练示例生成思维链，并设置适当的防护措施以减少因错误推理链导致幻觉的风险。

• 多数投票集成（Majority Vote Ensembling）：集成是指将多个算法的输出组合在一起，从而获得比任何单一算法更好的预测性能。像 GPT-4 这样的前沿模型受益于其自身输出的集成。一种简单的技术是使用多种提示词，或者使用具有不同 temperature（温度）参数的单一提示词，然后报告集成成分中最频繁的答案。对于多项选择题，我们采用了一种进一步增加集成多样性的技巧，称为 choice-shuffling（选项洗牌），即在生成每条推理路径之前打乱答案选项的相对顺序。然后我们选择最一致的答案，即对选项洗牌最不敏感的答案，这增加了答案的鲁棒性。

这三种技术的结合使 Medprompt 在医学挑战问题上取得了突破性的性能。这些技术的实现细节可以在这里找到：https://github.com/microsoft/promptbase/tree/main/src/promptbase/mmlu

Medprompt+ | 扩展提示的能力

在这里，我们提供了一些直观的细节，介绍我们如何扩展 medprompt 提示框架，以在 MMLU（Measuring Massive Multitask Language Understanding，大规模多任务语言理解测量）基准测试中激发更强的域外性能。MMLU 的建立是为了测试大语言模型的通用知识和推理能力。完整的 MMLU 基准测试包含数万个不同形式的挑战性问题，涵盖从基础数学到美国历史、法律、计算机科学、工程、医学等 57 个领域。

我们发现，将 Medprompt 不经修改直接应用于整个 MMLU 得分为 89.1%。对于在极其多样化的问题上运作的单一策略来说，这还不错！但我们能否推动 Medprompt 做得更好？简单地扩展 MedPrompt 可以带来进一步的收益。作为第一步，我们将集成调用（ensembled calls）的数量从 5 次增加到 20 次。这将性能提升到了 89.56%。

在致力于进一步优化 Medprompt 的过程中，我们注意到 MMLU 特定主题的表现相对较差。根据学科和具体基准测试的不同，MMLU 包含多种类型的问题。鉴于问题的多样性，我们如何推动 GPT-4 在 MMLU 上表现得更好？

我们专注于扩展到一种组合策略（portfolio approach），基于观察到某些主题领域倾向于提出需要多步推理的问题，可能还需要草稿板（scratch pad）来跟踪解决方案的多个部分。其他领域则寻求直接从问题得出的事实性答案。Medprompt 采用“思维链”（Chain-of-Thought，CoT）推理，与多步求解相呼应。我们想知道，复杂的经典 Medprompt 方法是否在非常简单的问题上表现较差，以及如果对事实性查询使用更简单的方法，系统是否会表现更好。

遵循这一论点，我们发现通过使用简单的双方法提示组合扩展 MedPrompt，可以提高 MMLU 上的性能。我们在经典 Medprompt 的基础上增加了一组 10 个简单、直接的少样本（few-shot）提示，直接征求答案而不使用思维链。然后我们请求 GPT-4 帮助决定每个主题领域和问题的最佳策略。作为筛选步骤，对于每个问题，我们首先询问 GPT-4：

# Question
{{ question }}
 
# Task
Does answering the question above require a scratch-pad?
A. Yes
B. No

如果 GPT-4 认为问题确实需要草稿板，那么集成中思维链组件的贡献权重会加倍。如果不需要，我们将该贡献减半（并让集成更多地依赖于直接的少样本提示）。在集成中动态利用适当的提示技术，使得 MMLU 的性能进一步提升了 +0.5%。

我们注意到 Medprompt+ 依赖于访问 GPT-4 的置信度分数（logprobs，对数概率）。这些目前无法通过当前的 API 公开获取，但将在不久的将来向所有人开放。

运行脚本

注意：此处托管的某些脚本发布仅供参考方法论，但可能无法立即在公共 API 上执行。我们正在努力使流程在未来几天内更易于“开箱即用”，感谢您在此期间的耐心等待！

首先，克隆仓库并安装 promptbase 包：

cd src
pip install -e .

接下来，决定您要运行哪些测试。您可以从以下选项中选择：

• bigbench
• drop
• gsm8k
• humaneval
• math
• mmlu

在运行测试之前，您需要从原始来源下载数据集（见下文），并将它们放置在 src/promptbase/datasets 目录中。

下载数据集并安装 promptbase 包后，您可以使用以下命令运行测试：

python -m promptbase dataset_name

例如：

python -m promptbase gsm8k

数据集链接

要运行评估，请下载这些数据集并将其添加到 /src/promptbase/datasets/

• MMLU: https://github.com/hendrycks/test
  • 从上述页面下载 data.tar 文件
  • 解压内容
  • 运行 mkdir src/promptbase/datasets/mmlu
  • 运行 python ./src/promptbase/format/format_mmlu.py --mmlu_csv_dir /path/to/extracted/csv/files --output_path ./src/promptbase/datasets/mmlu
  • 您还需要设置以下环境变量：
    • AZURE_OPENAI_API_KEY
    • AZURE_OPENAI_CHAT_API_KEY
    • AZURE_OPENAI_CHAT_ENDPOINT_URL
    • AZURE_OPENAI_EMBEDDINGS_URL
  • 使用 python -m promptbase mmlu --subject <SUBJECT> 运行，其中 <SUBJECT> 是 MMLU 数据集之一（例如 'abstract_algebra'）
  • 除了单个主题外，format_mmlu.py 脚本还准备了允许将 all 作为主题传递的文件，这将在整个数据集上运行
• HumanEval: https://huggingface.co/datasets/openai_humaneval
• DROP: https://allenai.org/data/drop
• GSM8K: https://github.com/openai/grade-school-math
• MATH: https://huggingface.co/datasets/hendrycks/competition_math
• Big-Bench-Hard: https://github.com/suzgunmirac/BIG-Bench-Hard 此仓库的内容需要放入 datasets 目录中名为 BigBench 的目录中

其他资源：

Medprompt 博客：https://www.microsoft.com/en-us/research/blog/the-power-of-prompting/

Medprompt 研究论文：https://arxiv.org/abs/2311.16452

Medprompt+：https://www.microsoft.com/en-us/research/blog/steering-at-the-frontier-extending-the-power-of-prompting/

Microsoft 提示工程简介：https://learn.microsoft.com/en-us/azure/ai-services/openai/concepts/prompt-engineering

Microsoft 高级提示工程指南：https://learn.microsoft.com/en-us/azure/ai-services/openai/concepts/advanced-prompt-engineering?pivots=programming-language-chat-completions

promptbase 快速上手指南

环境准备

• 系统要求：Python 环境。
• 前置依赖：
  • 需要拥有 Azure OpenAI 的访问权限。
  • 需设置以下环境变量：
    • AZURE_OPENAI_API_KEY
    • AZURE_OPENAI_CHAT_API_KEY
    • AZURE_OPENAI_CHAT_ENDPOINT_URL
    • AZURE_OPENAI_EMBEDDINGS_URL

安装步骤

1. 克隆代码库 首先将项目克隆到本地。

2. 安装包 进入 src 目录并以可编辑模式安装 promptbase 包：

   cd src
   pip install -e .
   

基本使用

1. 数据准备

运行测试前，需从原始来源下载对应数据集并放置于 src/promptbase/datasets 目录。

支持的数据集包括：bigbench, drop, gsm8k, humaneval, math, mmlu。

2. 运行测试

安装完成并准备好数据后，使用以下命令运行指定数据集的测试：

python -m promptbase dataset_name

例如，运行 GSM8K 数据集测试：

python -m promptbase gsm8k

3. MMLU 数据集特殊配置

针对 MMLU 数据集，需执行额外的格式化步骤：

1. 下载 data.tar 并解压。
2. 创建目录：mkdir src/promptbase/datasets/mmlu。
3. 运行格式化脚本：

   python ./src/promptbase/format/format_mmlu.py --mmlu_csv_dir /path/to/extracted/csv/files --output_path ./src/promptbase/datasets/mmlu
   

4. 运行测试：

   python -m promptbase mmlu --subject <SUBJECT>
   

   注：<SUBJECT> 为具体科目名称（如 abstract_algebra），也可使用 all 运行整个数据集。