测试代理演示

这个 monorepo 展示了如何使用 OpenAI 的 CUA 模型和 计算机使用工具 来自动化前端测试。它利用 Playwright 启动一个浏览器实例，并导航到待测试的 Web 应用程序。随后，CUA 模型会按照提供的测试用例，在界面上执行相应操作，直到测试用例完成。

该仓库包含三个协同工作的应用程序：

• frontend – 用于配置测试并观看其运行过程的 Next.js Web 界面。
• cua-server – 一个 Node 服务，负责与 OpenAI CUA 模型通信，并通过 Playwright 控制浏览器与示例应用进行交互。
• sample-test-app – 一个示例电子商务网站，作为代理测试的目标应用。

[!CAUTION]
计算机使用功能目前处于预览阶段。由于该模型仍处于预览状态，可能存在被利用或出现意外错误的风险，因此我们不建议在已认证的环境中或用于高风险任务中信任该功能。

使用方法

1. 克隆仓库

   git clone https://github.com/openai/openai-testing-agent-demo
   cd openai-testing-agent-demo
   

2. 准备环境文件

   如果您尚未在终端或系统全局设置 OPENAI_API_KEY 环境变量（设置说明 在此处），请编辑每个 .env.development 文件，并设置 OPENAI_API_KEY。

   cp frontend/.env.example frontend/.env.development
   cp cua-server/.env.example cua-server/.env.development
   cp sample-test-app/.env.example sample-test-app/.env.development
   

   示例应用还定义了演示登录凭据，默认为：

   ADMIN_USERNAME=test_user_name
   ADMIN_PASSWORD=test_password
   

   请确保创建一个包含上述示例凭据的 sample-test-app/.env.development 文件，以便运行演示。

3. 安装依赖项

   npm install
   npx playwright install
   

4. 运行所有应用

   npm run dev
   

   这将启动三个应用程序：

   • 前端 UI：http://localhost:3000
   • 示例应用：http://localhost:3005
   • CUA 服务器：ws://localhost:8080

   请访问 localhost:3000，查看前端界面并运行演示。

有关每个应用程序的详细信息，请参阅其 README 文件：

• frontend/README.md
• cua-server/README.md
• sample-test-app/README.md

自定义

您可以将此测试代理用于任何您选择的 Web 应用程序，并通过配置界面或直接修改 frontend/lib/constants.ts 文件来更新测试用例和目标 URL（UI 中使用的默认值）。

sample-test-app 仅作为演示示例提供，而 frontend 则作为测试界面。测试代理的核心逻辑位于 cua-server 中，这也是您可能希望集成到自己应用程序中的部分。

贡献

欢迎您提出问题或提交 Pull Request 来改进此项目，但请注意，我们可能不会审阅所有建议。

安全注意事项

• 本项目仅供测试环境使用。
• 请勿在生产环境中使用真实用户数据。

许可证

本项目采用 MIT 许可证授权。详情请参阅 LICENSE 文件。

openai-testing-agent-demo 快速上手指南

本指南帮助开发者快速部署并运行 OpenAI 的测试代理演示项目。该项目利用 OpenAI CUA 模型和计算机使用工具（Computer Use），结合 Playwright 自动化浏览器操作，实现对前端应用的自动化测试。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows (WSL2 推荐)
• Node.js：建议版本 v18 或更高
• npm：随 Node.js 安装
• OpenAI API Key：需拥有访问 OpenAI CUA 模型及 Computer Use 工具的权限
• 网络环境：由于需要连接 OpenAI 服务，请确保网络通畅（国内用户可能需要配置代理）

注意：Computer Use 功能目前处于预览阶段，请勿在生产环境或包含真实用户数据的 authenticated 环境中使用。

安装步骤

1. 克隆项目

将代码仓库克隆到本地并进入目录：

git clone https://github.com/openai/openai-testing-agent-demo
cd openai-testing-agent-demo

2. 配置环境变量

项目包含三个子应用（frontend, cua-server, sample-test-app），均需配置 API Key。

复制示例配置文件并重命名为开发环境文件：

cp frontend/.env.example frontend/.env.development
cp cua-server/.env.example cua-server/.env.development
cp sample-test-app/.env.example sample-test-app/.env.development

编辑生成的 .env.development 文件（以 cua-server/.env.development 为例，其他同理），填入您的 OpenAI API Key：

OPENAI_API_KEY=sk-your-api-key-here

同时，确保 sample-test-app/.env.development 中包含默认的演示登录凭证（通常已预设）：

ADMIN_USERNAME=test_user_name
ADMIN_PASSWORD=test_password

3. 安装依赖

安装项目所需的 npm 包以及 Playwright 浏览器内核：

npm install
npx playwright install

国内加速提示：如果 npm install 速度较慢，可临时使用淘宝镜像源： npm install --registry=https://registry.npmmirror.com

如果 playwright install 下载浏览器失败，可设置国内镜像变量： PLAYWRIGHT_DOWNLOAD_HOST=https://npmmirror.com/mirrors/playwright npx playwright install

基本使用

启动所有服务

在项目根目录下运行以下命令，将同时启动前端界面、示例电商应用和 CUA 服务端：

npm run dev

启动成功后，您将看到以下服务运行：

• 前端控制台 (Frontend UI): http://localhost:3000
• 示例测试应用 (Sample App): http://localhost:3005
• CUA 服务端 (CUA Server): ws://localhost:8080

运行测试

1. 打开浏览器访问 http://localhost:3000。
2. 在前端界面中配置测试用例（默认已预置针对示例电商应用的测试流程）。
3. 点击运行按钮，观察 CUA 模型如何驱动浏览器自动执行测试步骤。

自定义测试

若要测试您自己的 Web 应用：

• 方法一：直接在前端 UI (http://localhost:3000) 中修改目标 URL 和测试指令。
• 方法二：编辑 frontend/lib/constants.ts 文件修改默认配置。

核心测试逻辑位于 cua-server 目录，您可以将其集成到自己的项目中以适应更复杂的场景。