🛫 BrowserPilot

一个通过自然语言控制的智能网页浏览代理。

语言是人类给予和接收指令最自然的界面。与其编写易受变化影响的定制自动化或抓取代码，创建和添加代理应该像编写普通英文一样简单。

🏗️ 安装

1. pip install browserpilot
2. 从 这里 下载最新稳定版的 Chromedriver（Chrome浏览器的驱动程序），将其放在与本文件相同的文件夹中。解压后，在Finder中右键点击解压后的chromedriver并点击"Open"。这将移除默认的限制性权限，允许Python访问它。
3. 使用你喜欢的方式创建环境变量，将 OPENAI_API_KEY 设置为你的 API 密钥（API密钥）。

🦭 使用

🗺️ API

形式非常简单（见下文）。

from browserpilot.agents.gpt_selenium_agent import GPTSeleniumAgent

instructions = """Go to Google.com
Find all textareas.
Find the first visible textarea.
Click on the first visible textarea.
Type in "buffalo buffalo buffalo buffalo buffalo" and press enter.
Wait 2 seconds.
Find all anchor elements that link to Wikipedia.
Click on the first one.
Wait for 10 seconds."""

agent = GPTSeleniumAgent(instructions, "/path/to/chromedriver")
agent.run()

更具挑战性（但也更有趣）的部分是编写自然语言提示。

📑 编写提示

如果你熟悉 Selenium 的工作原理和编程基础会更有帮助。这是因为该项目使用 GPT-3 将自然语言转换为代码，因此你需要尽可能精确。这种方式更像是用 Copilot 编写代码，而不是和朋友交谈；例如，建议使用 input 或 textareas（而非"text box" "search box"）或"button which says 'Log in'"（而非"the login button"）。有时，它可能无法识别某些重要词语，因此最好将它们拆分成单独的行。例如，不要写"find all the visible textareas"，而是分两步："find all the textareas" 然后 "find the first visible textarea"。

你可以查看 prompts/examples 中的一些示例来入门。

通过在 BEGIN_FUNCTION func_name 和 END_FUNCTION 中包裹指令来创建"函数"，然后通过以 RUN_FUNCTION 或 INJECT_FUNCTION 开头的行来调用它们。以下是示例：

BEGIN_FUNCTION search_buffalo
Go to Google.com
Find all textareas.
Find the first visible textarea.
Click on the first visible textarea.
Type in "buffalo buffalo buffalo buffalo buffalo" and press enter.
Wait 2 seconds.
Get all anchors on the page that contain the word "buffalo".
Click on the first link.
END_FUNCTION

RUN_FUNCTION search_buffalo
Wait for 10 seconds.

你也可以选择创建一个包含指令列表的 yaml 或 json 文件。通常需要包含一个 instructions 字段，以及一个可选的 compiled 字段，用于存储处理后的代码。

参见 buffalo wikipedia 示例。

你可以将 instruction_output_file 传递给 GPTSeleniumAgent 的构造函数，这将输出一个包含 GPT-3 编译指令的 yaml 文件，避免支付 API 费用。

✋🏼 贡献

我设想了两种贡献方式。

• 添加到提示库：阅读上方的"编写提示"部分，直接提交 pull request 添加内容到 prompts/！在某个时间点，我会制定文件夹命名规范和提交代码的评估协议（出于安全、准确性等方面的考虑）。这对不太熟悉编程的人尤其有吸引力。
• 贡献代码：我很乐意接受建议！扩展代理功能或创建全新代理是主要的贡献方式。最佳方法是熟悉上方的"架构和提示模式"，然后（a）扩展 InstructionCompiler 中基础提示的功能列表，以及（b）在 GPTSeleniumAgent 中编写对应的方法。

⛩️ 架构和提示模式

这个仓库受到 Yihui He、Adept.ai 和 Nat Friedman 的工作的启发。特别是，基本的抽象和提示模式是基于 Yihui 的黑客马拉松代码构建的。预处理 HTML 并使用 GPT-3 智能选择元素的想法来自 Nat。

• 使用的提示可以找到在 instruction compiler。基础提示用普通英语描述了浏览代理可以执行的一系列操作，一些通用的编码规范，以及对其行为的一些约束。这些操作与 GPTSeleniumAgent 中的方法一一对应。到目前为止，这些操作包括：
  • env.driver，Selenium 的网络驱动程序。
  • env.find_elements(by='id', value=None) 查找并返回元素列表。
  • env.find_element(by='id', value=None) 与 env.find_elements() 类似，但只返回第一个元素。
  • env.find_nearest(e, xpath) 可用于定位另一个元素附近的元素。
  • env.send_keys(element, text) 向元素发送 text。
  • env.get(url) 前往 url。
  • env.click(element) 点击元素。
  • env.wait(seconds) 等待 seconds 秒。
  • env.scroll(direction, iframe=None) 滚动页面。如果提供了 iframe，则会切换到该 iframe。direction 可以是 "up"、"down"、"left" 或 "right"。
  • env.get_llm_response(text) 向 AI 询问字符串 text。
  • env.retrieve_information(prompt) 返回一个字符串，根据提示从页面中检索信息。使用 prompt="Summarize:" 来获取摘要。通过类似 "retrieve"、"find in the page" 或类似的命令调用。
  • env.ask_llm_to_find_element(description) 请 AI 查找匹配描述的元素。
  • env.query_memory(prompt) 通过提示向 AI 查询其记忆（嵌入索引）中已浏览的网页。通过 "Query memory" 调用。
  • env.save(text, filename) 将字符串 text 保存到文件 filename。
  • env.get_text_from_page() 返回页面中的自由文本。
• 其余代码基本上是中间件，将 Selenium 对象暴露给 GPT-3。对于基础提示中提到的每个操作，GPTSeleniumAgent 中都有一个对应的方法。
  • 使用 InstructionCompiler 将用户输入解析为语义连贯的操作块。
• 代理有一个 Memory，使其能够综合它所看到的内容。

🎉 完成

0.2.51

• 感谢 @rapatel0，现在可以通过 Selenium Grid（分布式浏览器测试框架）远程运行 BrowserPilot。

-0.2.42 - 0.2.44

• 对 examples.py 示例代码和依赖项进行了小幅修改。
• 为 Llama Index（机器学习索引库）重大升级进行代码重构。

0.2.38 - 0.2.41

• 将 enable_memory 改为 memory_file 以实现对内存文件名的更精细控制，同时支持用户加载内存。
• 简化了 get_text_from_page 方法。

0.2.26 - 0.2.37

• 终于决定将默认模型切换为 gpt-3.5-turbo（成本将大幅降低！）
• 修复了重试机制的问题，之前实际上无法触发重试操作。
• 针对 GPT-3.5 优化了提示词。
• 令人担忧的是，gpt-3.5-turbo 模型持续尝试导入模块，我手动删除了相关导入语句。
• 兼容新的 Llama Index 更新。

0.2.14 - 0.2.25

• 添加防反爬虫检测选项。
• 增强 OpenAI API 错误处理能力。
• 优化堆栈跟踪提示和其他几个提示模板。
• 新增 "显示在视口内" 功能。
• 支持通过 from browserpilot.agents import <agent> 导入代理。
• 使 find_element 和 find_elements 仅搜索可见元素。
• 运行结束后保存内存。
• 添加页面顶部和底部滚动选项。

0.2.10 - 0.2.13

• 增加更多 OpenAI 异常处理。
• 将所有嵌入查询改为使用 ChatGPT。
• 移除了 nltk 依赖项（终于摆脱了）。
• 扩大了向 LLM 提问时的最大 token 窗口。
• 修复内存模块在初始化前访问 OpenAI API 密钥的问题，稍作提示词调整。
• ❗️ 启用 ChatGPT 与 GPT Index 集成，使用 GPT3.5-turbo 查询嵌入向量。

0.2.7 - 0.2.9

• 在默认模型选择上反复权衡。ChatGPT 生成代码效果不佳，因为它对返回结果的自由度太高。
• 同时尝试精简提示词长度，当前提示词已略显冗长。

0.2.4 - 0.2.6

• 为代理添加实验性内存功能（仍处于早期阶段），新增元素截图能力。
• 修复版本管理和提示注入相关的 bug。

0.2.3

• 将 chrome_options 移动到更合理的位置，保持 yaml 文件整洁。

0.2.2

• 添加 ChatGPT 支持。

0.2.1

• 支持通过字典加载指令。

0.2.0

• 🎬 新增 Studio CLI 工具，支持迭代测试提示词！
• 支持 JSON 加载。
• 基础 iframe 支持。

<0.2.0

• GPTSeleniumAgent 应能通过 yaml 文件加载提示词和缓存的成功运行记录。InstructionCompiler 应能将指令保存为 yaml。
• 💭 为代理添加摘要功能。
• 演示/测试需要让 LLM 合成在线阅读内容的场景。
• 🚨 成功实现了将 HTML 页面内容输入 GPT-3 上下文窗口并可靠提取特定元素的功能！

🚨 免责声明

该包通过 exec 执行来自 OpenAI API 的代码输出。这种做法存在安全隐患。因此使用本包时需格外谨慎。标准免责声明如下：

软件按"原样"提供，不提供任何形式的明示或暗示担保，包括但不限于适销性、特定用途适用性和非侵权性担保。在任何情况下，作者或版权持有者均不对因软件使用或其他交易产生的索赔、损害或其他责任负责，无论该责任源于合同、侵权或其他法律行为。

BrowserPilot 快速上手指南

🧰 环境准备

• 系统要求：Python 3.8+
• 前置依赖：
  • pip（Python包管理工具）
  • Chromedriver（需与Chrome浏览器版本匹配）
  • OpenAI API密钥（申请地址）

---

📦 安装步骤

1. 安装BrowserPilot

   pip install browserpilot
   

   （可选：国内用户可使用镜像加速）

   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple browserpilot
   

2. 配置Chromedriver

   • 下载最新稳定版Chromedriver并解压
   • 将chromedriver文件放入项目目录
   • macOS用户需右键点击chromedriver → "打开"以解除权限限制

3. 设置环境变量

   export OPENAI_API_KEY=your_api_key_here
   

---

▶️ 基本使用

最简代码示例

from browserpilot.agents.gpt_selenium_agent import GPTSeleniumAgent

instructions = """Go to Google.com
Find all textareas.
Find the first visible textarea.
Click on the first visible textarea.
Type in "buffalo buffalo buffalo buffalo buffalo" and press enter."""

agent = GPTSeleniumAgent(instructions, "/path/to/chromedriver")
agent.run()

关键说明

• 指令格式：使用自然语言描述操作流程（类似Selenium脚本）
• 路径替换：将/path/to/chromedriver替换为实际解压路径
• API调用：首次运行会通过OpenAI API编译指令为代码，后续可通过instruction_output_file参数缓存结果

---

⚠️ 安全提示：该工具会执行来自OpenAI API的代码，建议仅在受控环境中使用