OpenAI 评估

您现在可以直接在 OpenAI 控制台中配置和运行评估。开始使用 →

评估提供了一个用于评估大型语言模型（LLM）或基于 LLM 构建的系统的框架。我们提供了一个现成的评估注册表，用于测试 OpenAI 模型的不同维度，并允许您为关心的用例编写自定义评估。您还可以使用自己的数据构建私有评估，这些评估能够反映工作流中常见的 LLM 模式，而无需将任何数据公开。

如果您正在使用 LLM 进行开发，创建高质量的评估是您可以采取的最具影响力的措施之一。如果没有评估，要理解不同模型版本如何影响您的用例可能会非常困难且耗时。正如 OpenAI 总裁 Greg Brockman 所说：

设置

要运行评估，您需要设置并指定您的 OpenAI API 密钥。获取 API 密钥后，请使用 OPENAI_API_KEY 环境变量进行指定。请注意，在运行评估时使用 API 会产生的 费用。您也可以使用 Weights & Biases 来运行和创建评估。

最低要求版本：Python 3.9

下载评估

我们的评估注册表使用 Git-LFS 存储。下载并安装 LFS 后，您可以在本地评估仓库中通过以下命令获取评估内容：

cd evals
git lfs fetch --all
git lfs pull

这将填充 evals/registry/data 下的所有指针文件。

如果您只想获取特定评估的数据，可以使用以下命令：

git lfs fetch --include=evals/registry/data/${your eval}
git lfs pull

创建评估

如果您打算创建评估，建议直接从 GitHub 克隆此仓库，并使用以下命令安装依赖项：

pip install -e .

使用 -e 参数，您对评估所做的更改将立即生效，无需重新安装。

可选地，您还可以安装格式化工具以便在提交前进行代码检查：

pip install -e .[formatters]

然后运行 pre-commit install 将 pre-commit 安装到您的 Git 钩子中。此后，每次提交时都会自动运行 pre-commit。

如果您想手动运行仓库中的所有 pre-commit 钩子，可以运行 pre-commit run --all-files。要运行单个钩子，请使用 pre-commit run <hook_id>。

运行评估

如果您不想贡献新的评估，而只是想在本地运行它们，可以通过 pip 安装评估包：

pip install evals

您可以在 run-evals.md 中找到运行现有评估的完整说明，以及在 eval-templates.md 中找到我们现有的评估模板。对于更高级的用例，例如提示链或使用工具的智能体，您可以使用我们的 完成函数协议。

如果您拥有 Snowflake 数据库或希望搭建一个，我们还提供了将评估结果记录到 Snowflake 数据库的选项。为此，您还需要指定 SNOWFLAKE_ACCOUNT、SNOWFLAKE_DATABASE、SNOWFLAKE_USERNAME 和 SNOWFLAKE_PASSWORD 环境变量。

编写评估

我们建议您从以下内容开始：

• 逐步了解评估的构建过程：build-eval.md
• 探索自定义评估逻辑的实现示例：custom-eval.md
• 编写您自己的完成函数：completion-fns.md
• 参阅我们的评估编写入门指南：OpenAI 评估入门

请注意，我们目前不接受包含自定义代码的评估！虽然我们暂时不接受此类评估，但您仍然可以提交使用自定义模型评分 YAML 文件的模型评分评估。

如果您认为自己有一个有趣的评估，请提交拉取请求以分享您的贡献。OpenAI 的工作人员会积极审查这些评估，以考虑对未来模型的改进。

常见问题解答

是否有从头到尾构建评估的示例？

• 是的！这些示例位于 examples 文件夹中。我们还建议您阅读 build-eval.md，以便更深入地理解这些示例中发生的事情。

是否有以多种不同方式实现的评估示例？

• 是的！特别是请参阅 evals/registry/evals/coqa.yaml。我们为各种评估模板实现了 CoQA 数据集的小型子集，以帮助说明其中的差异。

当我运行评估时，有时会在最后（最终报告之后）卡住。这是怎么回事？

• 这是一个已知问题，但您可以安全地中断它，评估应该会立即完成。

代码很多，我只想快速启动一个评估。能帮帮我吗？或者，

我是一名世界级的提示工程师，我不喜欢写代码。我该如何贡献我的智慧？

• 如果您遵循现有的 评估模板 来构建一个基础或模型评分评估，您完全不需要编写任何评估代码！只需以 JSON 格式提供您的数据，并在 YAML 中指定评估参数。build-eval.md 会引导您完成这些步骤，您还可以结合 examples 文件夹中的 Jupyter 笔记本快速上手。不过请记住，一个好的评估必然需要仔细思考和严谨的实验！

免责声明

通过参与评估的贡献，您同意将您的评估逻辑和数据置于与本仓库相同的 MIT 许可下。您必须拥有上传评估中所用数据的充分权利。OpenAI 保留将来在产品服务改进中使用这些数据的权利。对 OpenAI 评估的贡献将受我们常规使用政策的约束：https://platform.openai.com/docs/usage-policies。

OpenAI Evals 快速上手指南

OpenAI Evals 是一个用于评估大型语言模型（LLM）或其构建系统的框架。它提供了预置的评估注册表，也支持用户编写自定义评估或使用私有数据构建不公开的评估任务。

环境准备

在开始之前，请确保满足以下系统要求和前置条件：

• 操作系统：支持 Linux、macOS 或 Windows。
• Python 版本：最低要求 Python 3.9。
• Git LFS：评估数据通过 Git-LFS 存储，必须安装并配置好 Git LFS。
• API Key：你需要拥有有效的 OpenAI API Key。
• 环境变量：运行前需设置 OPENAI_API_KEY。

  export OPENAI_API_KEY="sk-..."
  

  注意：运行评估会产生 API 调用费用，请关注 OpenAI 定价。

安装步骤

根据你的需求（是仅运行现有评估，还是开发自定义评估），选择以下一种安装方式。

方式一：仅运行现有评估（推荐普通用户）

如果你只想使用现有的评估模板进行测试，可以直接通过 pip 安装：

pip install evals

方式二：开发自定义评估（推荐开发者）

如果你计划创建新的评估逻辑或贡献代码，建议克隆仓库并以可编辑模式安装：

1. 克隆仓库：

   git clone https://github.com/openai/evals.git
   cd evals
   

2. 拉取评估数据（依赖 Git LFS）：

   git lfs fetch --all
   git lfs pull
   

   若只需特定评估的数据，可使用：git lfs fetch --include=evals/registry/data/${your_eval_name}

3. 安装依赖：

   pip install -e .
   

4. （可选）安装代码格式化钩子：

   pip install -e .[formatters]
   pre-commit install
   

基本使用

1. 运行现有评估

安装完成后，你可以直接运行注册表中的评估任务。具体的运行命令和参数请参考官方文档 run-evals.md。

基本命令结构通常如下（需在项目根目录或已安装包的环境中）：

oeval run <eval_name> --completion-fn <model_name>

• <eval_name>：评估任务名称（位于 evals/registry/evals/ 目录下）。
• <model_name>：你要测试的模型名称（如 gpt-4）。

2. 构建简单评估（无代码模式）

即使不编写 Python 代码，你也可以通过提供数据文件和配置文件来创建评估：

1. 准备数据：将测试数据整理为 JSON 格式。
2. 配置任务：创建一个 YAML 文件，指定使用的评估模板（参考 eval-templates.md）和你的数据路径。
3. 运行：使用上述 oeval run 命令加载你的 YAML 配置即可。

详细构建流程可参考 build-eval.md 或查看 examples 文件夹中的示例。

3. 高级功能：结果日志

如果你拥有 Snowflake 数据库并希望记录评估结果，需额外设置以下环境变量：

• SNOWFLAKE_ACCOUNT
• SNOWFLAKE_DATABASE
• SNOWFLAKE_USERNAME
• SNOWFLAKE_PASSWORD