📝 AutoPrompt

Auto Prompt 是一个提示优化框架，旨在为实际应用场景增强和优化您的提示。

该框架会自动根据用户意图生成高质量、详细的提示。它采用一种精炼（校准）过程，通过迭代构建包含挑战性边缘案例的数据集，并相应地优化提示。这种方法不仅减少了提示工程中的手动工作量，还有效解决了常见的提示敏感性以及提示本身的歧义性问题。

我们的使命： 利用大型语言模型（LLM）的力量，帮助用户生成高质量且稳健的提示。

为什么选择 Auto Prompt？

• 提示工程的挑战。 LLM 的性能高度依赖于所使用的提示。即使是细微的变化，也可能显著影响其表现。
• 基准测试的挑战。 为生产级提示创建基准通常既费力又耗时。
• 可靠的提示。 Auto Prompt 能够生成稳健且高质量的提示，在使用最少数据和标注步骤的情况下，提供可衡量的准确性和性能提升。
• 模块化与适应性。 Auto Prompt 以模块化为核心设计，可无缝集成到 LangChain、Wandb 和 Argilla 等流行的开源工具中，并适用于多种任务，包括数据合成和提示迁移。

系统概述

该系统专为现实场景设计，例如经常面临数据分布不均衡问题的审核任务。系统实现了基于意图的提示校准方法（Intent-based Prompt Calibration）。流程从用户提供的初始提示和任务描述开始，还可选择性地加入用户示例。精炼过程会迭代生成多样化的样本，通过用户或 LLM 进行标注，并评估提示性能，随后由 LLM 提出改进后的提示。

对于内容生成任务，优化过程可以先设计一个排序器提示，再利用该学习到的排序器进行提示优化。优化将在达到预算或迭代次数上限时结束。

这种结合合成数据生成与提示优化的方法，相较于传统方法表现更优，同时所需的数据量和迭代次数极少。更多信息请参阅我们的论文 基于意图的提示校准：利用合成边界案例提升提示优化效果，作者为 E. Levi 等人（2024 年）。

使用 GPT-4 Turbo 时，此优化通常只需几分钟，成本不到 1 美元。 为了控制 GPT-4 LLM 的 token 使用成本，该框架允许用户设置优化的预算限制，单位为美元或 token 数量，具体配置方式请参见 这里。

演示

📖 文档

• 如何安装（设置说明）
• 提示优化示例（用例：电影评论分类、内容生成和聊天内容审核）
• 工作原理（流水线解释）
• 架构指南（主要组件概述）

特性

• 📝 仅需少量数据和标注步骤即可大幅提升提示质量。
• 🛬 专为审核、多标签分类和内容生成等生产级场景设计。
• ⚙️ 支持在不同模型版本或 LLM 提供商之间无缝迁移提示。
• 🎓 支持提示压缩。可将多个规则合并为一条高效提示。

快速入门

AutoPrompt 需要 python <= 3.10

步骤 1 - 克隆项目

git clone git@github.com:Eladlev/AutoPrompt.git
cd AutoPrompt

步骤 2 - 安装依赖

您可以根据个人偏好选择 Conda 或 pip。使用 Conda：

conda env create -f environment_dev.yml
conda activate AutoPrompt

使用 pip：

pip install -r requirements.txt

使用 pipenv：

pip install pipenv
pipenv sync

步骤 3 - 配置您的 LLM。

通过更新配置文件 config/llm_env.yml 来设置您的 OpenAI API 密钥。

• 如果您需要帮助查找 API 密钥，请访问此 链接。

• 我们建议使用 OpenAI 的 GPT-4 作为 LLM。我们的框架也支持其他提供商和开源模型，详情请参阅 这里。

步骤 4 - 配置您的标注器

• 为您的项目选择一种标注方式：

  • 我们建议从人机协作的方式开始，使用 Argilla。请注意，AutoPrompt 仅兼容 Argilla V1，不支持最新的 V2 版本。请按照 Argilla 设置说明 进行操作，并做如下修改：
    • 如果您使用本地 Docker，请使用 v1.29.0 而不是 latest 标签。
    • 对于使用 HF 的快速部署，可以复制以下 空间。
  • 或者，您也可以按照这些 配置步骤 设置一个 LLM 作为您的标注器。

• 默认的预测 LLM，即用于评估提示性能的 GPT-3.5，已在 config/config_default.yml 文件的 predictor 部分进行配置。

• 在输入配置 YAML 文件中，使用 max_usage 参数 定义您的预算。对于 OpenAI 模型，max_usage 设置以美元计的最大支出；对于其他 LLM，则限制最大 token 数量。

步骤 5 - 运行流水线

首先，通过编辑 config/config_default.yml 配置您的标签：

dataset:
    label_schema: ["Yes", "No"]

对于 分类流水线，请在相应的工作目录下使用终端运行以下命令：

python run_pipeline.py

如果初始提示和任务描述未直接作为输入提供，系统将引导您输入这些信息。您也可以将其作为命令行参数指定：

python run_pipeline.py \
    --prompt "这部电影影评是否包含剧透？回答是或否" \
    --task_description "助手是一位专家级分类器，将对电影影评进行分类，告知用户其是否包含所评论电影的剧透内容。" \
    --num_steps 30

您可以通过 W&B 仪表板跟踪优化进度，设置说明请参阅 这里。

如果您使用 pipenv，请确保激活环境：

pipenv shell
python run_pipeline.py  

或者在命令前加上 pipenv run：

pipenv run python run_pipeline.py 

生成流水线

要运行生成流水线，可以使用以下示例命令：

python run_generation_pipeline.py \
    --prompt "写一篇关于特定电影的好且全面的影评。" \
    --task_description "助手是一个大型语言模型，负责撰写电影影评。"

更多信息请参阅我们的 生成任务示例。

基准优化（仅优化模式）

如果您已经拥有标注数据集，并希望跳过样本生成和标注步骤，可以使用基准优化脚本。此模式仅执行纯优化循环：预测 → 评估 → 优化。

您的数据集应为包含 text 和 annotation 列的 CSV 文件：

text,annotation
"这部电影真是太棒了！",是
"浪费时间和金钱。",否

运行优化：

python run_benchmark_optimization.py \
    --dataset path/to/your_data.csv \
    --prompt "这篇电影影评是正面的吗？回答是或否。" \
    --task_description "将电影影评分类为正面或负面。" \
    --labels 是 否 \
    --num_steps 10 \
    --output results.json

参数说明：

• --dataset（必填）：包含 text 和 annotation 列的 CSV 文件路径
• --prompt：待优化的初始提示（若省略则交互式输入）
• --task_description：任务描述（若省略则交互式输入）
• --labels：标签体系（默认：是 否）
• --num_steps：优化迭代次数（默认：10 次）
• --output：结果输出 JSON 文件（默认：benchmark_results.json）
• --config：配置文件（默认：config/config_benchmark.yml）

此功能适用于以下场景：

• 您已拥有带标签的基准数据
• 您希望跳过样本生成，加快迭代速度
• 您正在为特定数据集微调提示

尽情享受成果吧！完成以上步骤后，您将获得一个针对您任务量身定制的 优化（校准）后的提示，以及一个包含挑战性样本的 基准测试集，它们都将存储在默认的 dump 路径中。

小贴士

• 在优化过程中，提示的准确性可能会有所波动。为了找到最佳提示，我们建议在首次生成基准测试集之后继续进行持续优化。您可以使用 --num_steps 设置优化迭代次数，并通过在 dataset 部分指定 max_samples 来控制样本生成数量。例如，设置 max_samples: 50 和 --num_steps 30 可将基准测试集限制为 50 个样本，从而允许在每次迭代生成 10 个样本的情况下进行 25 次额外的优化迭代。

• 该框架支持检查点功能，方便您从上次保存的状态继续优化。它会自动将最近的优化状态保存到 dump 路径中。您可以使用 --output_dump 设置此路径，并用 --load_path 从检查点恢复。

• 每次迭代都会涉及多次调用 LLM 服务，尤其是生成式任务中，通常会发送较长的提示并请求 LLM 生成较多的 token，这可能需要约 1 分钟的时间，请耐心等待。

• 如果 Argilla 服务器连接出现问题或报错，请尝试重启该空间。

提示敏感性示例

你编写了一个用于识别电影剧透的提示：

请审阅提供的内容，并指出其中是否包含任何重要的情节揭示或关键点，这些内容可能会泄露故事的重要元素或结局。如果包含此类剧透或关键见解，请回答“是”；如果不涉及揭露关键故事元素，请回答“否”。

此提示在使用 GPT-4 大型语言模型时，在你的基准测试中得分为 81 分。随后，你对提示进行了微小修改：

请审阅文本，判断其是否提供了构成剧透的故事本质性揭示或关键细节。如有剧透，请回答“是”；若无，则回答“否”。

令人惊讶的是，第二个提示的得分降至 72 分，准确率下降了 11%。这说明提示工程需要谨慎细致的过程。

🚀 贡献

我们非常感谢您的贡献！如果您有意参与贡献，请参阅我们的贡献指南，以获取详细信息。

如果您希望加入我们的旅程，欢迎通过我们的Discord 社区与我们联系。我们非常期待您的加入！

🛡 免责声明

AutoPrompt 项目按“现状”提供，不提供任何形式的明示或暗示担保或保证。

我们对提示优化及使用的看法如下：

1. AutoPrompt 的核心目标是优化和完善提示，以获得高质量的结果。这一目标通过迭代校准过程实现，有助于减少错误并提升大语言模型的性能。然而，该框架并不能保证在每种情况下都能得出绝对正确或无偏见的结果。

2. AutoPrompt 旨在提高提示的可靠性并缓解敏感性问题，但并不声称能够完全消除这些问题。

请注意，使用由 AutoPrompt 支持的 OpenAI GPT-4 等大语言模型可能会因令牌使用而产生高昂费用。使用 AutoPrompt 即表示您承认自己有责任监控和管理令牌使用情况及相关支出。我们建议您定期查看大语言模型提供商的 API 使用情况，并设置使用限制或预警，以避免意外收费。 为管理 GPT-4 大语言模型的令牌使用成本，该框架允许用户以美元或令牌数量的形式设定优化预算上限，配置方法请参见此处。

引用

如果您在研究中使用了我们的代码，请引用我们的论文：

@misc{2402.03099,
作者 = {Elad Levi、Eli Brosh 和 Matan Friedmann},
标题 = {基于意图的提示校准：利用合成边界案例增强提示优化},
年份 = {2024},
预印本 = {arXiv:2402.03099},
}

许可证

本框架采用Apache 许可证 2.0 版授权。

✉️ 支持 / 联系我们

• 社区 Discord
• 我们的邮箱：‫autopromptai@gmail.com‬

AutoPrompt 快速上手指南

AutoPrompt 是一个提示词优化框架，旨在通过自动化生成高质量、详细的提示词来提升大语言模型（LLM）在实际场景中的表现。它通过迭代构建挑战性边缘案例数据集并校准提示词，有效解决提示词敏感性和模糊性问题。

环境准备

在开始之前，请确保满足以下系统要求：

• Python 版本：必须使用 Python <= 3.10（不支持 Python 3.11 及以上版本）。
• API Key：需要配置 OpenAI API Key（推荐使用 GPT-4 或 GPT-3.5 Turbo）。
• 可选依赖：
  • 若使用人工标注流程，需部署 Argilla V1（注意：不兼容 Argilla V2）。
  • 若需监控优化进度，可配置 Weights & Biases (W&B)。

安装步骤

1. 克隆项目

git clone git@github.com:Eladlev/AutoPrompt.git
cd AutoPrompt

2. 安装依赖

你可以选择 Conda、pip 或 pipenv 进行安装。

方式 A：使用 Conda（推荐）

conda env create -f environment_dev.yml
conda activate AutoPrompt

方式 B：使用 pip

pip install -r requirements.txt

方式 C：使用 pipenv

pip install pipenv
pipenv sync

3. 配置 LLM

编辑配置文件 config/llm_env.yml，填入你的 OpenAI API Key。

提示：如需查找 API Key，请访问 OpenAI 官方帮助文档。

4. 配置标注器（可选）

• 人工标注：推荐使用 Argilla V1。若使用 Docker 本地部署，请将镜像标签设为 v1.29.0 而非 latest。
• LLM 自动标注：参考 docs/installation.md 配置 LLM 作为标注器。
• 预算控制：在输入配置的 yaml 文件中设置 max_usage 参数（OpenAI 模型单位为美元，其他模型为 Token 数量），以控制优化成本。

基本使用

场景一：分类任务优化（最常用）

此模式会自动生成样本、标注并迭代优化提示词。

1. 编辑标签配置：修改 config/config_default.yml 定义标签体系。

   dataset:
       label_schema: ["Yes", "No"]
   

2. 运行流水线： 你可以直接运行命令，随后按交互式提示输入初始提示词和任务描述；或通过命令行参数直接指定。

   交互式运行：

   python run_pipeline.py
   

   命令行参数运行（示例：电影剧透检测）：

   python run_pipeline.py \
       --prompt "Does this movie review contain a spoiler? answer Yes or No" \
       --task_description "Assistant is an expert classifier that will classify a movie review, and let the user know if it contains a spoiler for the reviewed movie or not." \
       --num_steps 30
   

   若使用 pipenv，请在命令前加 pipenv run 或先执行 pipenv shell。

3. 查看结果： 优化完成后， refined prompt（校准后的提示词）和包含挑战性样本的 benchmark 将保存在默认的 dump 路径下。你可配置 W&B 仪表盘实时跟踪优化进度。

场景二：基于现有数据集的纯优化（Benchmark Optimization）

如果你已有标注好的数据集（CSV 格式，包含 text 和 annotation 列），可跳过样本生成阶段，直接进行“预测→评估→优化”循环。

数据格式示例 (data.csv)：

text,annotation
"The movie was absolutely fantastic!",Yes
"Waste of time and money.",No

运行命令：

python run_benchmark_optimization.py \
    --dataset path/to/your_data.csv \
    --prompt "Is this movie review positive? Answer Yes or No." \
    --task_description "Classify movie reviews as positive or negative." \
    --labels Yes No \
    --num_steps 10 \
    --output results.json

场景三：内容生成任务优化

针对文本生成类任务（如写影评），使用专用脚本：

python run_generation_pipeline.py \
    --prompt "Write a good and comprehensive movie review about a specific movie." \
    --task_description "Assistant is a large language model that is tasked with writing movie reviews."

实用技巧

• 断点续跑：框架支持检查点机制。优化状态会自动保存在 dump 路径。使用 --load_path 参数可从上次保存的状态恢复运行。
• 控制样本量：在 config 文件的 dataset 部分设置 max_samples，配合 --num_steps 控制迭代次数，避免产生过多数据。
• 耐心等待：每次迭代涉及多次 LLM 调用及长文本生成，单次迭代可能耗时约 1 分钟（生成任务尤甚），属正常现象。
• Argilla 连接问题：若遇到 Argilla 服务器连接错误，尝试重启服务或 Hugging Face Space。