简介

本仓库包含我们论文 WebVoyager 的数据与实现。WebVoyager 是一款创新的大型多模态模型（LMM）驱动的网络智能体，能够通过与真实世界网站交互，端到端地完成用户指令。

• 多模态网络智能体。我们实现了集成文本和视觉信息的 WebVoyager，以端到端的方式解决网络任务，并引入了一种用于导航的通用规划方法。
• 在线环境。我们使用 Selenium 构建了一个在线网页浏览环境。
• 多样化的网络任务 我们提供了一系列围绕常用网站的任务，并介绍了一种扩展这些任务的方法。
• 评估工具 我们提出了一种基于 GPT-4V 的自动化评估协议。

环境搭建

我们使用 Selenium 来构建在线网页浏览环境。

• 请确保已安装 Chrome 浏览器。（使用最新版本的 Selenium 时，无需单独安装 ChromeDriver。）
• 如果您选择在 Linux 服务器上运行代码，建议安装 Chromium 浏览器。（例如，对于 CentOS：yum install chromium-browser）
• 为 WebVoyager 创建一个 conda 环境并安装依赖项。

  conda create -n webvoyager python=3.10
  conda activate webvoyager
  pip install -r requirements.txt
  

数据

概述

为了测试 WebVoyager，我们采用半自动化方法生成并筛选了 643 个任务查询，覆盖 15 个网站，每个网站包含 40 多个查询。该数据集可在 data/WebVoyager_data.jsonl 中找到。

• 对于每条数据，我们提供了任务描述及其对应的网站。
• 部分任务具有时效性，主要集中在 Booking 和 Google Flights 上。目前，在运行前需要 手动更新 时间。
• 我们为每个任务标注了简要参考答案，存放在 data/reference_answer.json 中。

此外，我们还从 GAIA 数据集（验证集） 中提取了 90 个网页浏览任务（Level 1 和 Level 2）。相关任务可在 data/GAIA_web.jsonl 中查看。

• 在 GAIA 验证集中，作者提供了标注者元数据，并指定了使用的工具（“网页浏览器”或“搜索引擎”）。我们根据这些信息提取了任务。
• GAIA 并未为每个任务提供对应的网站，因此我们将每个任务的起始网站设定为 Google 搜索。

扩展任务

现有数据已经形成了一个相对丰富的任务池，我们建议使用 GPT-4（https://chat.openai.com）来进一步扩充数据。以下是一个示例提示，您可以根据需求修改或重新设计提示内容。

以下是一些示例任务以及解决这些任务所需交互的网站。
"""
<任务: xxx；网站: xxx；>
<其他上下文示例>
"""

请仔细分析上述任务，然后为 {网站} 生成新的任务。请使用多样化的描述，不要重复示例中的任务描述。

请注意：
1. 任务中不要包含观看视频的要求。
2. 在生成的任务中，如果需要声明未来的具体日期（如预订、航班等），可以选择 <日期1> 至 <日期2> 范围内的日期。
3. 生成的任务应目标明确，且不需要复杂的网页操作。
4. 在查找过去的实时信息时（如 ArXiv、BBC 新闻等），不要请求过多过去某段时间的信息，因为这需要大量的网页滚动和翻页操作。但可以请求特定时间点的信息，例如最新的。
5. 为了提高随机性和多样性，请尽量避免重复示例中提到过的实体。

请仔细思考给定网站的功能，并注意生成的任务应能由相应网站解决。答案格式必须为：任务: {生成的任务}|||网站: {网站名称, https 地址}

运行

运行 WebVoyager

环境搭建完成后，即可开始运行 WebVoyager。

1. 将您想要测试的示例复制到 data/tasks_test.jsonl 中。对于 Booking 和 Google Flights 的任务，如果任务中的日期已过期，请手动更新。
2. 修改 run.sh 中的 api_key。

您可以通过以下命令运行 WebVoyager：

bash run.sh

run.sh 的具体内容如下：

#!/bin/bash
nohup python -u run.py \
    --test_file ./data/tasks_test.jsonl \
    --api_key YOUR_OPENAI_API_KEY \
    --headless \
    --max_iter 15 \
    --max_attached_imgs 3 \
    --temperature 1 \
    --fix_box_color \
    --seed 42 > test_tasks.log &

对于仅使用文本的 WebVoyager，示例脚本如下：

#!/bin/bash
nohup python -u run.py \
    --test_file ./data/tasks_test.jsonl \
    --api_key YOUR_OPENAI_API_KEY \
    --headless \
    --max_iter 15 \
    --max_attached_imgs 1 \
    --temperature 1 \
    --text_only \
    --api_model gpt-4-1106-preview \
    --seed 42 > test_tasks_text_only.log &

参数

通用：

• --test_file: 待评估的任务文件。请参考 data 目录中的数据文件格式。
• --max_iter: 每个任务的最大在线交互次数。如果超过 max_iter 仍未完成任务，则视为失败。
• --api_key: 您的 OpenAI API 密钥。
• --output_dir: 用于保存网页浏览轨迹的目录。
• --download_dir: 有时智能体需要下载 PDF 文件进行分析。

模型：

• --api_model: 接收观测并做出决策的智能体。在我们的实验中，我们使用 gpt-4-vision-preview。对于纯文本场景，可以使用不包含视觉输入的模型，例如 gpt-4-1106-preview。
• seed: 该功能目前处于 Beta 阶段，具体信息请参阅 OpenAI 的 文档。
• --temperature: 用于控制模型输出的多样性。请注意，此处将其设置为 0 并不能保证多次运行结果的一致性。
• --max_attached_imgs: 我们会进行上下文裁剪，移除过时的网页信息，仅保留最近的 k 张截图。
• --text_only: 纯文本模式，观测将为无障碍树。

网页导航：

• --headless: 无头模式不会显式打开浏览器，因此更易于在 Linux 服务器上部署，且资源消耗更低。注意：无头模式会影响保存的截图尺寸，因为在非无头模式下会显示地址栏。
• --save_accessibility_tree: 是否需要保存当前页面的无障碍树。我们主要参考 WebArena 来构建无障碍树。
• --force_device_scale: 将设备缩放比例设置为 1。如果需要无障碍树，应使用此参数。
• --window_width: 窗口宽度，默认为 1024。
• --window_height: 窗口高度，默认为 768。（根据 OpenAI 定价，1024 * 768 的图像大约等于 765 个 token。）
• --fix_box_color: 我们利用 GPT-4-ACT，这是一款基于 JavaScript 的工具，可根据网页元素类型提取可交互元素，并叠加边界框。此选项会将边界框颜色固定为黑色，否则颜色将是随机的。

开发您的提示词

提示词优化是一项复杂的工程，它会直接影响智能体的性能。您可以在 prompts.py 中找到我们设计的系统提示词。

我们提供的提示词经过多次调整，但仍不完美。如果您感兴趣，可以在不破坏其通用性的前提下进行自定义优化（即不在提示词中针对特定网站给出具体指令）。如果您只需要智能体服务于某些特定网站，则可以直接在提示词中加入针对性的指令。

若想在提示词中添加动作或更改动作格式，只需稍作代码修改即可。您可以设计自己的 extract_information 函数来解析模型的输出，并修改 run.py 以添加或调整动作执行方式。

结果与评估

结果将保存在您指定的输出目录中。在本实验中，我们使用 results 目录，并将部分结果放置于 results/examples 中。每个任务的结果文件夹包含交互消息和若干截图。

#!/bin/bash
nohup python -u auto_eval.py \
    --api_key YOUR_OPENAI_API_KEY \
    --process_dir ../results/examples \
    --max_attached_imgs 15 > evaluation.log &

cd evaluation
bash run_eval.sh

@article{he2024webvoyager,
  title={WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models},
  author={He, Hongliang and Yao, Wenlin and Ma, Kaixin and Yu, Wenhao and Dai, Yong and Zhang, Hongming and Lan, Zhenzhong and Yu, Dong},
  journal={arXiv preprint arXiv:2401.13919},
  year={2024}
}