PromptWizard 🧙

博客文章 项目网站

PromptWizard：任务感知的提示优化框架
Eshaan Agarwal、Joykirat Singh、Vivek Dani、Raghav Magazine、Tanuja Ganu、Akshay Nambi

概述 🌟

PromptWizard框架概述

PromptWizard是一个离散的提示优化框架，采用自进化机制，由大语言模型生成、评估并优化自身的提示与示例，通过迭代反馈与综合不断改进。这种自适应方法通过同时演化指令与上下文学习示例，确保整体优化，从而提升任务表现。

PromptWizard的三大核心组件如下：

• 反馈驱动的优化：大语言模型生成、评估并优化自身的提示与示例，通过迭代反馈与综合不断改进​
• 多样化示例的评估与合成：生成鲁棒、多样且任务感知的合成示例，并同步优化提示与示例​
• 自主生成思维链（CoT）步骤，结合正面、负面及合成示例

阶段1：指令的迭代优化

阶段2：指令与示例的顺序优化

安装 ⬇️

按照以下步骤设置开发环境并安装软件包：

1. 克隆仓库

   git clone https://github.com/microsoft/PromptWizard
   cd PromptWizard
   

2. 创建并激活虚拟环境

   在Windows上

   python -m venv venv
   venv\Scripts\activate
   

   在macOS/Linux上：

   python -m venv venv
   source venv/bin/activate
   

3. 以开发模式安装软件包：

   pip install -e .
   

快速入门 🏃

使用PromptWizard主要有三种方式：

• 场景1：在无示例的情况下优化提示
• 场景2：生成合成示例并利用其优化提示
• 场景3：结合训练数据优化提示

注意：请参阅此笔记本，以详细了解每种场景的具体用法。这将作为理解PromptWizard使用方法的起点

使用PromptWizard的高级概览

• 确定您的使用场景
• 设置API调用所需的配置与环境变量
  • 使用promptopt_config.yaml文件进行配置。例如，对于GSM8k，可使用此文件
  • 使用.env文件设置环境变量。对于GSM8k，可使用此文件

  USE_OPENAI_API_KEY="XXXX"
  # 根据是否使用OPENAI API密钥，将其设置为True或False
  
  # 如果第一个变量设为True，则填写以下两项
  OPENAI_API_KEY="XXXX"
  OPENAI_MODEL_NAME ="XXXX"
  
  # 如果第一个变量设为False，则填写以下三项
  AZURE_OPENAI_ENDPOINT="XXXXX" 
  # 替换为您的Azure OpenAI Endpoint
  
  OPENAI_API_VERSION="XXXX"
  # 替换为您的API版本
  
  AZURE_OPENAI_CHAT_DEPLOYMENT_NAME="XXXXX"
  # 为模型创建部署，并在此处填写部署名称。 
  

• 运行代码
  • 如需在自定义数据集上运行PromptWizard，请跳转至此处

使用训练数据运行PromptWizard（场景3）

• 我们支持GSM8k、SVAMP、AQUARAT以及Instruction_Induction(BBII)数据集
• 请注意，提示优化所需时间取决于数据集。在我们针对上述数据集的实验中，平均耗时约为20至30分钟。

在GSM8k上运行（AQUARAT/SVAMP）

• 请注意，这段代码需要通过API调用访问大语言模型，而我们支持AZURE端点或OPENAI密钥
• 在demos/gsm8k/.env中设置AZURE端点配置
• 按照demos/gsm8k/demo.ipynb中的步骤下载数据、运行提示优化并进行推理。

在BBII上运行

• BBII包含众多数据集，根据具体数据集设置此处的配置
• 在配置中，task_description、base_instruction和answer_format需根据不同BBII数据集进行调整，其余配置保持不变
• 示例演示见demos/bbh/demo.ipynb

在自定义数据集上运行 🗃️

创建自定义数据集

• 我们的代码要求数据集以jsonl文件格式提供
• 训练集与测试集均遵循相同格式
• 每个jsonl文件中的样本应包含两个字段：
  1. question：应包含需向大语言模型提出的完整问题
  2. answer：应包含真实答案，可以是详尽的或简洁的

在自定义数据集上运行

注意：有关四个数据集的文件夹示例，请参阅 demos 文件夹。每个文件夹中的 .ipynb 文件展示了如何在该特定数据集上运行 PromptWizard。对于新数据集，也可以采用类似的流程。下面将详细说明 .ipynb 文件中的各个组件以及针对特定数据集的文件夹结构。

自定义数据集的操作步骤

1. 每个新数据集都需要包含以下内容：

   • configs 文件夹，用于存放定义优化超参数和设置配置的文件；
   • data 文件夹，用于存放经过整理的 train.jsonl 和 test.jsonl 文件（详见创建自定义数据集），这些文件将在笔记本中生成；
   • .env 文件，用于存储调用 API 所需的环境变量；
   • .py/.ipynb 脚本，用于运行代码。

2. 设置超参数，如突变次数、微调步数、上下文示例等。

   • 在 promptopt_config.yaml 中设置以下内容：
     • task_description：当前任务的描述，将作为提示输入。
       • 对于 GSM8k，可以使用如下描述：

         你是一位数学专家。你将收到一道需要解答的数学题。
         

     • base_instruction：与数据集相匹配的基础指令。
       • 常用的基础指令可以是：

         让我们一步一步地思考。
         

     • answer_format：指定答案格式的指令。
       • 正确设置 answer_format 至关重要，以确保 def extract_final_answer() 能够正确提取答案。
       • 答案格式可以是：

         最后，仅将你的最终选项用 <ANS_START> 和 <ANS_END> 标签括起来。
         

       • 那么在 def extract_final_answer() 中，我们只需编写代码来提取这两个标签之间的字符串即可。
     • seen_set_size：用于提示优化的训练样本数量。
       • 在我们的实验中，将其设置为 25。一般来说，20 到 50 之间的任何数字都可以。
     • few_shot_count：提示中所需的上下文示例数量。
       • 根据需求，该值可设为任意正整数。
       • 对于生成零样本提示的情况，可将该值设为较小的数字（即 2 到 5），并在最终提示生成后移除上下文示例。我们建议保留一些上下文示例，因为在优化过程中，提示中的指令会借助上下文示例不断细化，因此将其设为较小的数字有助于生成更优质的零样本指令。
     • generate_reasoning：是否为上下文示例生成推理过程。
       • 在我们的实验中，我们发现这能整体提升提示效果，因为它提供了逐步推导至最终答案的思路。然而，如果对提示长度或提示标记数量有限制，则可以关闭此功能，以获得更短的提示。
     • generate_expert_identity 和 generate_intent_keywords：启用这些功能有助于提升提示的相关性，使提示更加贴合任务需求。
   • 请参考 这里 提供的各文件夹中的 promptopt_config.yaml 文件，了解 AQUARAT、SVAMP 和 GSM8k 所使用的描述。对于 BBII，请参阅 description.py，其中包含了针对每个数据集的元指令。
   • 以下是可根据训练数据的可用性进行设置的全局参数：
     • run_without_train_examples 是一个全局超参数，当没有训练样本且最终提示中不需要上下文示例时可使用。
     • generate_synthetic_examples 是一个全局超参数，当没有训练样本且希望生成合成数据用于训练时可使用。
     • use_examples 是一个全局超参数，可用于利用训练数据优化提示。

3. 创建一个特定于数据集的类，继承自 class DatasetSpecificProcessing，类似于 demo.ipynb 中的 GSM8k(DatasetSpecificProcessing)，并在其中定义以下函数：

   1. 在 def extract_answer_from_output() 中：这是一个数据集特定的函数，根据数据集提供的 answer，应提取并返回简洁形式的答案。需要注意的是，根据数据集的不同，也可以直接返回原始的 answer，例如 SVAMP 和 AQUARAT 数据集。
   2. def extract_final_answer()：这是一个针对 LLM 输出的函数，根据 LLM 的详细回答，应提取并返回简洁的最终答案。
   3. 定义 def access_answer()：该函数接收 LLM 的输出作为输入，然后执行以下操作：
      • 使用上述定义的 def extract_final_answer() 从 LLM 输出中提取简洁答案；
      • 将提取的答案与真实答案进行比对，并返回：
        • LLM 输出的提取答案；
        • 一个布尔值，表示答案是否正确；
      • 此处的评估是针对特定数据集的。对于 GSM8k、SVAMP 和 AQUARAT 等数据集，由于其最终答案为数字，可以直接比较生成的数字与真实答案；而对于答案为句子或段落的数据集，则更适合采用 LLM 作为评判者的方式，比较生成的段落/句子与真实答案。相关示例可在 this 笔记本中的 def access_answer() 中找到。

PromptWizard 的工作原理 🔍

• PW 根据问题描述和初始提示指令，通过让 LLM 对指令进行变异来生成多种变体。根据性能表现，选择最优提示。PW 还内置了批评组件，提供反馈，从而在多次迭代中引导并优化提示。
• PW 同时优化上下文示例。PW 从训练数据中选取多样化的示例，根据它们在修改后的提示下的表现，识别出正面和负面示例。负面示例有助于进一步优化提示。
• 示例和指令会依次优化，利用批评结果生成能够弥补当前提示弱点的合成示例，这些示例会被整合进来，以进一步完善提示。
• PW 通过思维链（CoT）生成详细的推理链条，增强提示解决问题的能力。
• PW 通过融入任务意图和专家角色，使提示与人类推理保持一致，从而提升模型性能和可解释性。

配置 ⚙️

在此我们定义了在 promptopt_config.yaml 中找到的提示优化过程中使用的各种超参数。

• mutate_refine_iterations：对任务描述进行变异并随后优化指令的迭代次数
• mutation_rounds：在生成不同风格时要执行的变异轮数
• refine_task_eg_iterations：对任务描述和上下文示例进行优化的迭代次数
• style_variation：在提示变异中使用的思维风格变化数量
• questions_batch_size：在训练步骤中，一次性向 LLM 提问的问题数量
• min_correct_count：一个提示被认为表现良好所需的正确回答问题的最少批次数量
• max_eval_batches：我们应对该提示进行评估的最大小批量数量
• top_n：从评分阶段选出的用于下一阶段的前 n 个最佳提示
• seen_set_size：用于训练的训练集样本数量
• few_shot_count：最终提示中所需的上下文示例数量

最佳实践 💡

以下是我们实验过程中遵循的一些最佳实践：

• 关于 promptopt_config.yaml 中的参数：
  • 我们发现 mutate_refine_iterations、mutation_rounds 和 refine_task_eg_iterations 的最佳取值为 3 或 5。
  • 其他参数已设置为理想值。seen_set_size 可以增加到 50，而 few_shot_count 则可根据具体用例进行设置。
• 训练过程结束时生成的提示通常非常详细，但用户监督可以帮助进一步针对手头的任务进行微调。
• 可以尝试同时使用合成的上下文示例和来自训练集的上下文示例这两种配置，以根据具体用例找到最佳提示。

结果 📈

PromptWizard 在各种阈值下均持续优于其他方法，保持最高的 p(τ) 值，表明其在所有任务上都能稳定地接近最佳可能准确率。

• 该图展示了指令诱导任务的性能曲线。性能曲线可视化了不同方法的性能在给定距离内与最佳性能的频率。在这条曲线上，x 轴 (τ) 表示相对于最佳方法的性能比，y 轴 (p(τ)) 则反映某一方法的性能处于该比例范围内的任务占比。因此，对于某一特定方法，这条曲线说明了有多少百分比的任务的性能与最佳性能相差不超过 τ 的距离。

如何贡献： ✋

本项目欢迎贡献与建议。大多数贡献都需要您同意一份贡献者许可协议（CLA），声明您有权且确实授予我们使用您的贡献的权利。详情请访问 https://cla.microsoft.com。 当您提交拉取请求时，CLA 机器人会自动判断您是否需要提供 CLA，并相应地对 PR 进行标注（例如添加标签、发表评论）。您只需按照机器人的指示操作即可。在整个使用我们 CLA 的仓库中，您只需完成一次此操作。 本项目已采用 微软开源行为准则。如需了解更多信息，请参阅 行为准则常见问题解答，或如有任何其他问题或意见，请联系 opencode@microsoft.com。

引用 📝

如果您使用了我们的工作，请引用我们的论文：

@misc{agarwal2024promptwizardtaskawarepromptoptimization,
      title={PromptWizard: Task-Aware Prompt Optimization Framework}, 
      author={Eshaan Agarwal and Joykirat Singh and Vivek Dani and Raghav Magazine and Tanuja Ganu and Akshay Nambi},
      year={2024},
      eprint={2405.18369},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2405.18369}, 
}

责任AI考量

有关责任AI的指南与最佳实践，请参阅我们的 责任AI指南。

PromptWizard 快速上手指南

环境准备

系统要求

• Python 3.8 或更高版本
• 支持 Windows、macOS 和 Linux 系统

前置依赖

• Git（用于克隆仓库）
• Python 虚拟环境（推荐使用 venv）

---

安装步骤

1. 克隆仓库

   git clone https://github.com/microsoft/PromptWizard
   cd PromptWizard
   

2. 创建并激活虚拟环境

   • Windows：

   python -m venv venv
   venv\Scripts\activate
   

   • macOS/Linux：

   python -m venv venv
   source venv/bin/activate
   

3. 安装开发模式依赖

   pip install -e .
   

💡 提示：如需加速依赖下载，可使用国内镜像源，例如：

pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

---

基本使用

使用场景概述

PromptWizard 支持三种主要使用方式：

1. 无示例优化提示词
2. 生成合成示例并用于优化提示词
3. 使用训练数据优化提示词

以下以 Scenario 3（使用训练数据） 为例，演示如何在 GSM8k 数据集上运行 PromptWizard。

步骤说明

1. 配置文件设置

   • 修改 promptopt_config.yaml 文件，设置任务描述、基础指令、答案格式等参数。 示例（GSM8k）：

     task_description: "You are a mathematics expert. You will be given a mathematics problem which you need to solve"
     base_instruction: "Let's think step by step."
     answer_format: "At the end, wrap only your final option between <ANS_START> and <ANS_END> tags"
     seen_set_size: 25
     few_shot_count: 5
     generate_reasoning: true
     

   • 在 .env 文件中配置 API 访问信息（根据是否使用 OpenAI 或 Azure）：

     USE_OPENAI_API_KEY="True"
     OPENAI_API_KEY="your_openai_api_key"
     OPENAI_MODEL_NAME="gpt-3.5-turbo"
     

2. 运行代码

   • 执行如下命令运行 PromptWizard：

     python run_prompt_optimization.py --config_path demos/gsm8k/configs/promptopt_config.yaml
     

   📌 注意：具体运行脚本名称和路径请参考对应数据集的 demo.ipynb 文件。

3. 查看结果

   • 运行完成后，可以在输出目录中查看优化后的提示词、推理结果以及评估指标。

---

自定义数据集支持

如果你有自定义数据集，请按照以下结构准备数据：

• 数据格式为 .jsonl，每个样本包含两个字段：

  • question: 需要输入给 LLM 的完整问题
  • answer: 真实答案（可以是简洁或详细形式）

• 示例 .jsonl 内容：

  {"question": "What is 2 + 2?", "answer": "4"}
  

• 数据夹结构建议如下：

  your_dataset/
  ├── configs/
  │   └── promptopt_config.yaml
  ├── data/
  │   ├── train.jsonl
  │   └── test.jsonl
  ├── .env
  └── demo.ipynb
  

✅ 参考 demos 目录下的 GSM8k、AQUARAT、SVAMP 和 BBII 示例，可以快速搭建自己的数据集结构。