Taxy AI：全面浏览器自动化

候补名单 | Discord

Taxy 使用 GPT-4 控制您的浏览器，并代表您执行重复性操作。目前，它允许您定义临时指令。未来还将支持保存和计划工作流。

Taxy 当前处于 研究预览 阶段。许多工作流可能会失败或使智能体感到困惑。如果您想参与 Taxy 的开发以改进它，或者在自己的工作流上进行测试，请按照以下说明在本地运行它。如果您希望在 Taxy 更广泛可用时第一时间获知，可以加入我们的 候补名单。

Taxy 完全开源，我们不会将任何页面内容或指令发送到我们的服务器。

以下是 Taxy 使用 Google 日历，根据提示“明天上午 10 点安排一次站会，并邀请 david@taxy.ai”进行操作的示例：

目录

• Taxy AI：全面浏览器自动化
  • 目录
  • 安装与运行
    • 安装扩展程序
    • 在浏览器中运行
  • 工作原理——动作循环
  • 简单演示
    • 保护 GitHub 中的主分支
    • 在 Netflix 上搜索并播放电影《遗落战境》
    • 创建日历事件
    • 在 OpenAI Playground 中撰写文章
    • 添加您自己的演示！
  • 技术栈
  • 资源

安装与运行

目前，此扩展仅可通过本 GitHub 仓库获取。待我们添加更多功能以提升非技术人员的使用体验后，才会将其发布到 Chrome 网上应用店。如需在本地构建并安装该扩展，请按照以下步骤操作。

安装扩展程序

1. 确保已安装 Node.js >= 16。
2. 克隆本仓库。
3. 运行 yarn 安装依赖项。
4. 运行 yarn start 构建软件包。
5. 在 Chrome 浏览器中加载扩展程序，具体步骤如下：
   1. 访问 chrome://extensions/。
   2. 打开“开发者模式”。
   3. 点击“加载已解压的扩展程序”。
   4. 选择 yarn start 生成的 build 文件夹。

在浏览器中运行

1. 安装完成后，浏览器插件将以两种形式提供：
   1. 弹出窗口。在 Mac 上按 cmd+shift+y 或在 Windows/Linux 上按 ctrl+shift+y 激活，也可以点击浏览器中的扩展图标来激活。
   2. 开发者工具面板。先打开浏览器的开发者工具，然后切换到 Taxy AI 面板即可激活。
2. 接下来，您需要创建或获取一个现有的 OpenAI API 密钥，并将其粘贴到提供的框中。该密钥将安全地存储在您的浏览器中，不会上传至任何第三方。
3. 最后，导航到您希望 Taxy 操作的网页（例如 OpenAI Playground），开始尝试吧！

工作原理——动作循环

1. Taxy 在网页上运行内容脚本，提取整个 DOM 树。它会简化接收到的 HTML，仅保留可交互或语义上重要的元素，如按钮或文本。并对每个可交互元素分配一个 ID。随后，Taxy 会对 DOM 进行模板化处理，以进一步减少令牌数量。
2. Taxy 将简化的 DOM 以及用户的指令发送给选定的大型语言模型（目前支持 GPT-3.5 和 GPT-4）。Taxy 会告知 LLM 两种与网页交互的方法：
   1. click(id) —— 单击与该 ID 关联的可交互元素。
   2. setValue(id, text) —— 聚焦于文本输入框，清除现有文本，并输入指定的文本。
3. 当 Taxy 收到来自 LLM 的响应时，它会解析响应以确定下一步动作。如果出现以下任一情况，动作循环将在此阶段结束：
   1. LLM 认为任务已完成。此时，LLM 不会返回具体动作，而是基于当前 DOM 状态及迄今为止的动作历史，表明用户任务已完成。
   2. 用户停止了任务执行。用户可以在任何时候停止 LLM 的执行，无需等待其完成。
   3. 发生了错误。由于 Taxy 采用安全优先的设计架构，一旦收到意外响应，系统会自动停止执行。
4. Taxy 使用 chrome.debugger API 执行动作。
5. 动作会被添加到动作历史中，Taxy 会返回步骤 1，重新解析更新后的 DOM。所有先前的动作都会作为提示的一部分发送给 LLM，用于决定下一步动作。目前，Taxy 可以为单个任务最多执行 50 个动作，但在实际应用中，大多数任务通常只需不到 10 个动作。

简单演示

保护 GitHub 中的主分支

在 Netflix 上搜索并播放电影《遗落战境》

创建日历事件

在 OpenAI Playground 中撰写文章

添加您自己的演示！

如果您有有趣的演示想要分享，请提交 PR 来添加您的内容！

技术栈

本扩展目前使用的技术：

• Chrome 扩展清单 V3
• React 17
• Webpack 5
• Webpack Dev Server 4
• React Hot Loader
• eslint-config-react-app
• Prettier
• TypeScript

资源

• Chrome 扩展入门

Taxy AI 浏览器自动化插件快速上手指南

Taxy AI 是一款基于 GPT-4 的全浏览器自动化工具，能够理解自然语言指令并自动执行重复性网页操作（如填写表单、点击按钮、调度任务等）。本项目目前处于研究预览版，完全开源且本地运行，不会将页面内容或指令上传至第三方服务器。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Windows、macOS 或 Linux
• 浏览器：Google Chrome（推荐最新版本）
• Node.js：版本需 >= 16
  • 国内用户建议使用 nvm 管理版本，或通过国内镜像安装。
• 包管理器：Yarn
  • 安装命令：npm install -g yarn
  • 国内用户建议配置淘宝镜像源以加速依赖下载：

    yarn config set registry https://registry.npmmirror.com
    

• OpenAI API Key：您需要拥有一个有效的 OpenAI API Key 才能驱动模型。

安装步骤

请按照以下步骤在本地构建并加载扩展程序：

1. 克隆仓库

   git clone <repository-url>
   cd browser-extension
   

   (注：请将 <repository-url> 替换为实际的 GitHub 仓库地址)

2. 安装依赖

   yarn
   

3. 构建项目 运行以下命令启动开发服务器并生成构建文件：

   yarn start
   

   该命令会在项目根目录下生成 build 文件夹。

4. 加载到 Chrome 浏览器

   • 在 Chrome 地址栏输入 chrome://extensions/ 并回车。
   • 右上角开启 开发者模式 (Developer mode) 开关。
   • 点击左上角的 加载已解压的扩展程序 (Load unpacked)。
   • 选择上一步生成的 build 文件夹。

基本使用

安装完成后，请按以下步骤开始体验自动化功能：

1. 激活插件

插件提供两种交互方式：

• 弹窗模式：按下快捷键 Cmd+Shift+Y (Mac) 或 Ctrl+Shift+Y (Windows/Linux)，或点击浏览器工具栏中的插件图标。
• 开发者工具面板：按 F12 打开开发者工具，找到并点击 Taxy AI 标签页。

2. 配置 API Key

在插件界面中，粘贴您的 OpenAI API Key。

安全提示：该密钥仅加密存储于您的本地浏览器中，不会上传至任何第三方服务器。

3. 执行任务示例

导航至任意网页（例如 OpenAI Playground 或 Google Calendar），在插件输入框中输入自然语言指令。

示例指令：

"Schedule standup tomorrow at 10am. Invite david@taxy.ai" （明天上午 10 点安排站会，邀请 david@taxy.ai）

工作流程说明：

1. Taxy 会分析当前页面 DOM，提取可交互元素。
2. 结合您的指令发送给 LLM（支持 GPT-3.5/GPT-4）。
3. LLM 返回操作指令（如 click(id) 或 setValue(id, text)）。
4. 插件自动执行操作，并根据页面变化循环执行，直到任务完成或达到最大步数（默认 50 步）。

您可以随时手动停止任务执行。如果遇到意外情况，内置的安全机制会自动中止操作。