Prompt Ops

🎉 新增：提示对决优化器（PDO）已发布！

我们发表了一篇关于 PDO（提示对决优化器） 的新论文——这是一种利用对决多臂老虎机和汤普森采样实现的高效无标签提示优化方法。PDO 在 BIG-bench Hard 和 MS MARCO 基准测试中取得了当前最佳性能。

📄 阅读论文： LLM 提示对决优化器：高效的无标签提示优化 (arXiv:2510.13907)

🧪 亲自尝试： 请查看 谎言之网用例，其中展示了 PDO 在逻辑推理任务上的应用。

⭐ 给本仓库点个星 并关注我们——我们很快会发布一份详细的教程笔记本！

---

什么是 prompt-ops？

prompt-ops 是一个 Python 包，能够 自动优化提示词 以适配 Llama 模型。它将那些在其他大语言模型上表现良好的提示转换为针对 Llama 模型优化过的提示，从而提升性能与可靠性。

主要优势：

• 告别试错法：无需再手动调整提示以获得更好的效果
• 快速优化：通过基于模板的优化方式，几分钟内即可得到模型优化后的提示
• 数据驱动改进：使用您自己的示例创建适用于特定场景的提示
• 可量化结果：借助自定义指标评估提示性能

需求

要开始使用 prompt-ops，您需要：

• 现有的系统提示：您希望优化的现有系统提示
• 现有的查询-响应数据集：包含查询-响应对的 JSON 文件（至少 50 个示例），用于评估和优化（详见下方的 准备您的数据集）
• 配置文件：一个 YAML 配置文件 (config.yaml)，用于指定模型超参数及优化细节（参见 示例配置）

工作原理

┌──────────────────────────┐  ┌──────────────────────────┐  ┌────────────────────┐
│  现有的系统提示        │  │  设置(查询, 响应)      │  │ YAML 配置          │
└────────────┬─────────────┘  └─────────────┬────────────┘  └───────────┬────────┘
             │                              │                           │
             │                              │                           │
             ▼                              ▼                           ▼
         ┌────────────────────────────────────────────────────────────────────┐
         │                     prompt-ops 迁移                       │
         └────────────────────────────────────────────────────────────────────┘
                                            │
                                            │
                                            ▼
                                ┌──────────────────────┐
                                │   优化后的提示       │
                                └──────────────────────┘

简单工作流程

1. 从现有系统提示开始：使用您现有的、能在其他大语言模型上工作的系统提示（参见 示例提示）
2. 准备您的数据集：创建一个包含查询-响应对的 JSON 文件，用于评估和优化
3. 配置优化参数：设置一个简单的 YAML 文件，填写您的数据集和偏好（参见 示例配置）
4. 运行优化：执行一条命令即可完成提示的转换
5. 获取结果：您将收到经过模型优化的提示，并附带性能指标

实际应用效果

HotpotQA

这些结果是在 HotpotQA 多跳推理基准测试 上测得的，该测试旨在检验模型回答需要整合多源信息的复杂问题的能力。我们的优化提示在不同规模的模型上均显著优于基线提示。

快速入门（5 分钟）

第一步：安装

注意： 我们建议从源码安装，因为我们目前正对 PyPI 上的包名进行过渡。这样可以确保您获得最新的稳定版本，而不会出现命名冲突的问题。

# 创建虚拟环境
conda create -n prompt-ops python=3.10
conda activate prompt-ops

# 推荐：从源码安装
git clone https://github.com/meta-llama/prompt-ops.git
cd prompt-ops
pip install -e .

# 或者：从 PyPI 安装（可能存在命名过渡问题，目前仍为 0.0.7 版本）
# pip install llama-prompt-ops

第二步：创建示例项目

这将在当前目录下创建一个名为 my-project 的文件夹，并包含示例配置和数据集。

prompt-ops create my-project
cd my-project

第3步：设置您的API密钥

将您的API密钥添加到.env文件中：

OPENROUTER_API_KEY=your_key_here

prompt-ops使用LiteLLM作为统一的API客户端。LiteLLM会根据您的模型名称（例如openrouter/model、groq/model）自动检测提供商，并查找相应的提供商特定环境变量（OPENROUTER_API_KEY、GROQ_API_KEY等）。有关更多推理提供商选项，请参阅推理提供商。

第4步：运行优化

优化过程大约需要5分钟。

prompt-ops migrate # 如果未指定--config，则默认使用config.yaml

完成！优化后的提示将保存到results目录中，并附带比较原始版本和优化版本的性能指标。

如需了解更多关于此用例的信息，您可以在基础教程中找到更详细的说明。

提示转换示例

以下是将专有语言模型系统提示转换为Llama模型系统的示例：

原始专有语言模型提示	优化后的Llama模型提示
您是一位有用的助手。请提取并返回一个包含以下键值的JSON： 1. “urgency”：取值为high、medium或low 2. “sentiment”：取值为negative、neutral或positive 3. “categories”：创建一个字典，以类别为键，以布尔值（True/False）为值，表示该类别是否匹配诸如emergency_repair_services、routine_maintenance_requests等标签。 您的完整消息应为一个可直接读取的有效JSON字符串。	您是客户服务消息分析专家。您的任务是根据紧急程度、情感倾向和相关类别对以下消息进行分类。 请分析消息并返回一个包含以下字段的JSON对象： 1. “urgency”：根据需要处理的紧迫性，将其归类为“high”、“medium”或“low” 2. “sentiment”：根据客户语气，将其归类为“negative”、“neutral”或“positive” 3. “categories”：创建一个以设施管理类别为键、以布尔值为值的字典。 请仅在您的回复中包含这些确切的键。返回一个有效的JSON对象，不要使用代码块、前缀或解释。

准备您的数据

要使用prompt-ops进行提示优化，您需要准备一个包含提示和预期响应的数据集。标准格式是一个如下结构的JSON文件：

[
    {
        "question": "您的输入查询在此",
        "answer": "预期响应在此"
    },
    {
        "question": "另一个输入查询",
        "answer": "另一个预期响应"
    }
]

如果您的数据符合此格式，您可以使用内置的StandardJSONAdapter，它会自动处理数据。

自定义数据格式

如果您的数据格式不同，并且没有内置的数据集适配器，您可以通过扩展DatasetAdapter类来创建自定义数据集适配器。有关详细信息，请参阅数据集适配器选择指南。

多个推理提供商支持

prompt-ops支持多种推理提供商和端点，以满足您的基础设施需求。请参阅我们关于推理提供商的详细指南，其中包含以下配置示例：

• OpenRouter（基于云的API）
• vLLM（本地部署）
• NVIDIA NIMs（优化容器）

文档和示例

如需更多信息，请查看以下资源：

• 快速入门指南：在5分钟内启动并运行prompt-ops
• 中级配置指南：了解如何配置数据集、指标和优化策略
• 数据集适配器选择指南：为您的数据集格式选择合适的适配器
• 指标选择指南：为您的用例选择适当的评估指标
• 推理提供商指南：配置不同的模型提供商和端点

致谢

该项目利用了一些优秀的开源项目，包括DSPy，感谢团队的启发性工作！

贡献

欢迎贡献！请随时提交拉取请求。

许可证

本项目采用MIT许可证授权——详情请参阅LICENSE文件。

prompt-ops 快速上手指南

prompt-ops 是一个专为 Llama 模型设计的 Python 工具包，能够自动将适用于其他大模型的提示词（Prompt）优化为适配 Llama 的版本，从而提升模型性能与可靠性。它通过数据驱动的方式消除手动调试，几分钟内即可生成优化后的提示词。

环境准备

在开始之前，请确保满足以下要求：

• 操作系统：Linux, macOS 或 Windows (WSL 推荐)
• Python 版本：3.10 或更高
• 前置依赖：
  • 现有的系统提示词（System Prompt）
  • 评测数据集：包含 question 和 answer 对的 JSON 文件（建议至少 50 条样本）
  • API Key：支持 OpenRouter、Groq、vLLM 等推理提供商的密钥

安装步骤

由于 PyPI 上的包名正处于过渡期，强烈建议从源码安装以获取最新稳定版本。

# 1. 创建并激活虚拟环境
conda create -n prompt-ops python=3.10
conda activate prompt-ops

# 2. 克隆仓库并从源码安装
git clone https://github.com/meta-llama/prompt-ops.git
cd prompt-ops
pip install -e .

# 备选方案：从 PyPI 安装（可能为旧版本 0.0.7）
# pip install llama-prompt-ops

国内加速提示：如果下载依赖较慢，可在 pip 命令后添加国内镜像源，例如： pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

只需 4 步即可完成提示词优化：

第一步：创建示例项目

运行以下命令生成包含示例配置和数据集的项目目录 my-project：

prompt-ops create my-project
cd my-project

第二步：配置 API 密钥

在项目根目录创建或编辑 .env 文件，填入你的推理服务密钥（以 OpenRouter 为例）：

OPENROUTER_API_KEY=your_key_here

prompt-ops 基于 LiteLLM 构建，会自动根据模型名称识别提供商并读取对应的环境变量（如 GROQ_API_KEY 等）。

第三步：准备数据与配置（可选）

如果是首次体验，上一步生成的示例数据可直接使用。若需使用自有数据：

1. 准备一个 JSON 文件，格式如下：

   [
       {"question": "用户输入", "answer": "期望输出"},
       {"question": "...", "answer": "..."}
   ]
   

2. 修改 config.yaml 文件，指向你的数据集路径和待优化的原始提示词文件。

第四步：运行优化

执行迁移命令，默认读取 config.yaml 配置。过程约需 5 分钟：

prompt-ops migrate

查看结果

运行完成后，优化后的提示词及性能对比指标将保存在 results 目录中。你可以直接将优化后的 Prompt 应用到你的 Llama 模型项目中。