🏄 Surf - OpenAI 的计算机使用代理 + E2B 桌面

一个基于 Next.js 的应用程序，允许 AI 与虚拟桌面环境进行交互。该项目将 E2B 的桌面沙盒 与 OpenAI 的 API 集成，创建了一个可以通过自然语言指令在虚拟计算机上执行任务的 AI 代理。

E2B 是一个开源的云端隔离虚拟计算机，专为 AI 应用场景打造。

概述

“计算机使用应用”提供了一个网页界面，用户可以在其中：

1. 启动一个虚拟桌面沙盒环境
2. 向 AI 代理发送自然语言指令
3. 观看 AI 代理在虚拟桌面上执行操作
4. 通过聊天界面与 AI 互动

该应用使用服务器发送事件 (SSE) 实时流式传输 AI 的响应和操作，从而提供无缝的体验。

工作原理

架构

该应用由几个关键组件组成：

1. 前端 UI (Next.js)：提供带有虚拟桌面视图和聊天界面的用户界面
2. E2B 桌面沙盒：创建并管理虚拟桌面环境
3. OpenAI 计算机使用功能：处理用户指令并生成 AI 代理要执行的操作
4. 流式 API：负责前端和后端之间的实时通信

核心流程

1. 用户启动一个新的沙盒实例
2. E2B 创建一个虚拟桌面，并提供用于流式传输的 URL
3. 用户通过聊天界面发送指令
4. 后端使用 OpenAI 的 API 处理指令
5. AI 生成要在虚拟桌面上执行的操作（点击、输入等）
6. 这些操作在沙盒中执行，并流式传输回前端
7. 当用户继续提供指令时，此过程会重复进行。

先决条件

在开始之前，您需要：

1. Node.js（版本需符合 package.json 中的指定）
2. npm（随 Node.js 一起安装）
3. 一个 E2B API 密钥
4. 一个 OpenAI API 密钥

设置说明

1. 克隆仓库

git clone https://github.com/e2b-dev/surf
cd surf

2. 安装依赖项

npm install

3. 设置环境变量

根据提供的 .env.example 文件，在根目录下创建一个 .env.local 文件：

E2B_API_KEY=your_e2b_api_key
OPENAI_API_KEY=your_openai_api_key

4. 启动开发服务器

npm run dev

5. 打开应用程序

在浏览器中访问 http://localhost:3000。

使用方法

1. 启动沙盒实例

   • 点击“启动新沙盒”按钮以初始化虚拟桌面环境
   • 等待沙盒启动（可能需要几秒钟）

2. 发送指令

   • 在聊天输入框中键入您的指令（例如：“打开 Firefox 并访问 google.com”）
   • 按下 Enter 键或点击发送按钮
   • 如果有示例提示，您也可以从中选择

3. 观看 AI 操作

   • AI 将处理您的指令并在虚拟桌面上执行操作
   • 您可以在聊天界面中看到 AI 的推理过程和执行动作
   • 虚拟桌面会随着操作的执行而实时更新

4. 管理沙盒

   • 计时器显示沙盒实例剩余的时间
   • 您可以随时点击“停止”按钮来终止沙盒
   • 沙盒将在即将到期时自动延长使用时间

功能特性

• 虚拟桌面环境：在沙盒中运行基于 Linux 的桌面
• AI 驱动的交互：使用 OpenAI 的 API 理解并执行用户指令
• 实时流式传输：实时展示 AI 的操作和响应
• 聊天界面：提供与 AI 交互的对话式界面
• 示例提示：提供预定义的指令帮助用户快速上手
• 深/浅色模式：支持深色和浅色主题

技术细节

依赖项

该应用使用了几个关键依赖项：

• Next.js：用于前端的 React 框架
• @e2b/desktop：用于创建和管理桌面沙盒环境的 SDK
• OpenAI：用于与 OpenAI API 交互的 SDK
• Tailwind CSS：用于样式的实用优先 CSS 框架
• Framer Motion：用于动画的库

完整的依赖列表请参阅 package.json。

API 端点

• /api/chat：处理聊天消息并流式传输 AI 的响应和操作

服务器端操作

• createSandbox：创建新的沙盒实例
• increaseTimeout：延长沙盒超时时间
• stopSandboxAction：停止正在运行的沙盒实例

故障排除

• 沙盒无法启动：请检查 .env.local 文件中的 E2B API 密钥是否正确
• AI 无响应：请确认您的 OpenAI API 密钥有效，并且有权访问所需的模型
• 操作无法执行：请确保沙盒正在运行，并且 AI 收到了正确的指令

贡献

欢迎贡献！请随时提交 Pull Request。

许可证

本项目采用 Apache License 2.0 许可证——详情请参阅 LICENSE 文件。

支持

如果您遇到任何问题或有任何疑问：

• 请查看 E2B 文档
• 加入 E2B Discord
• 打开 问题

Surf 快速上手指南

Surf 是一个基于 Next.js 的开源应用，它结合了 E2B 桌面沙箱与 OpenAI Computer Use 能力，允许用户通过自然语言指令控制云端虚拟电脑。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• Node.js: 安装版本需符合项目 package.json 要求（建议使用 LTS 版本）。
• 包管理器: npm (随 Node.js 自动安装)。
• E2B API Key: 需在 E2B 控制台 获取。
• OpenAI API Key: 需在 OpenAI 平台 获取，并确保账户有权访问 Computer Use 相关模型。

注意：由于 E2B 和 OpenAI 的服务特性，国内开发者可能需要配置网络代理才能正常连接 API。

安装步骤

1. 克隆仓库

   git clone https://github.com/e2b-dev/surf
   cd surf
   

2. 安装依赖

   npm install
   

   (如需加速，可临时指定淘宝镜像源：npm install --registry=https://registry.npmmirror.com)

3. 配置环境变量 在项目根目录下创建 .env.local 文件，并填入您的 API 密钥：

   E2B_API_KEY=your_e2b_api_key
   OPENAI_API_KEY=your_openai_api_key
   

4. 启动开发服务器

   npm run dev
   

5. 访问应用 打开浏览器访问 http://localhost:3000。

基本使用

1. 启动沙箱 在网页界面点击 "Start new Sandbox" 按钮。系统将初始化一个基于 Linux 的虚拟桌面环境（通常需要几秒钟）。

2. 发送指令 在聊天输入框中输入自然语言指令。例如：

   "Open Firefox and go to google.com"

   按下回车或点击发送按钮。

3. 观察执行

   • AI 会分析指令并在聊天窗口展示其推理过程。
   • 右侧的虚拟桌面将实时演示 AI 的操作（如移动鼠标、点击图标、输入文字等）。
   • 您可以持续发送新指令与 AI 交互，沙箱运行时间即将结束时会自动延长。