WebArena：用于构建自主智能体的真实网络环境

WebArena 是一个独立、可自托管的网络环境，专为构建自主智能体而设计

官网 • 论文 • 排行榜 • TheAgentCompany

2024年12月5日更新

[!重要] 此仓库托管的是 WebArena 的 标准 实现，用于复现论文中报告的结果。由 AgentLab 对网络导航基础设施进行了显著增强，引入了多项关键特性：(1) 支持使用 BrowserGym 进行并行实验，(2) 在统一框架内集成流行的网络导航基准测试（例如 VisualWebArena），(3) 统一的排行榜报告，以及 (4) 更完善的环境边缘情况处理。我们强烈建议您在实验中使用此框架。

新闻

• [2024年12月20日] 请查看我们在更多具有深远影响的任务上的新基准测试，包括终端使用和编程任务，TheAgentCompany。
• [2023年12月21日] 我们发布了人类标注者在约170个任务上执行的轨迹记录。更多详情请参阅 资源页面。
• [2023年11月3日] 多项功能！
  • 上传了最新的 执行轨迹
  • 增加了 Amazon Machine Image，其中预装了所有网站，省去了您的安装步骤。
  • Zeno x WebArena，让您无需费力即可分析 WebArena 上的智能体。请参阅此 笔记本，将您自己的数据上传至 Zeno，并访问 此页面 浏览我们的现有结果！
• [2023年10月24日] 我们重新检查了整个数据集，并修复了发现的标注错误。当前版本 (v0.2.0) 相对稳定，未来预计不会再对标注进行重大更新。包含更优提示及与人类表现对比的新结果，请参阅我们的 论文。
• [2023年8月4日] 添加了搭建您自己的 WebArena 环境的说明及 Docker 资源。详情请参阅 此页面。
• [2023年7月29日] 添加了 注释详尽的脚本，用于逐步演示环境设置过程。

安装

# Python 3.10+
conda create -n webarena python=3.10; conda activate webarena
pip install -r requirements.txt
playwright install
pip install -e .

# 可选，仅开发环境
pip install -e ".[dev]"
mypy --install-types --non-interactive browser_env agents evaluation_harness
pip install pre-commit
pre-commit install

快速入门

请参阅 此脚本 的快速入门指南，了解如何设置浏览器环境并使用我们托管的演示站点与其交互。该脚本仅用于教学目的；如需进行 可重复 的实验，请参阅下一节。简而言之，使用 WebArena 与使用 OpenAI Gym 非常相似。以下代码片段展示了如何与环境交互。

from browser_env import ScriptBrowserEnv, create_id_based_action
# 初始化环境
env = ScriptBrowserEnv(
    headless=False,
    observation_type="accessibility_tree",
    current_viewport_only=True,
    viewport_size={"width": 1280, "height": 720},
)
# 根据 JSON 文件中的配置准备环境
config_file = "config_files/0.json"
obs, info = env.reset(options={"config_file": config_file})
# 通过 obs["text"] 获取文本观测值（例如 HTML、无障碍树）

# 创建随机动作
id = random.randint(0, 1000)
action = create_id_based_action(f"click [id]")

# 执行动作
obs, _, terminated, _, info = env.step(action)

端到端评估

[!重要] 为确保评估的准确性，请按照步骤1和步骤2设置您自己的WebArena网站。演示站点仅用于浏览，以帮助您更好地理解内容。在评估完812个示例后，请按照此处的说明将环境重置为初始状态。

1. 设置独立环境。 详细信息请参阅此页面。

2. 配置每个网站的URL。

export SHOPPING="<your_shopping_site_domain>:7770"
export SHOPPING_ADMIN="<your_e_commerce_cms_domain>:7780/admin"
export REDDIT="<your_reddit_domain>:9999"
export GITLAB="<your_gitlab_domain>:8023"
export MAP="<your_map_domain>:3000"
export WIKIPEDIA="<your_wikipedia_domain>:8888/wikipedia_en_all_maxi_2022-05/A/User:The_other_Kiwix_guy/Landing"
export HOMEPAGE="<your_homepage_domain>:4399" # 这是一个占位符

建议更新GitHub工作流中的环境变量，以确保单元测试的正确性。

3. 为每个测试示例生成配置文件。

python scripts/generate_test_data.py

您将在config_files文件夹中看到生成的*.json文件。每个文件包含一个测试示例的配置。

4. 获取所有网站的自动登录Cookie。

mkdir -p ./.auth
python browser_env/auto_login.py

5. 导出OPENAI_API_KEY=your_key，有效的OpenAI API密钥应以sk-开头。

6. 启动评估。

python run.py \
  --instruction_path agent/prompts/jsons/p_cot_id_actree_2s.json \ # 这是我们论文中使用的推理代理提示
  --test_start_idx 0 \
  --test_end_idx 1 \
  --model gpt-3.5-turbo \
  --result_dir <your_result_dir>

该脚本将使用GPT-3.5推理代理运行第一个示例。轨迹将保存在<your_result_dir>/0.html中。

开发基于提示的代理

1. 定义提示。我们提供了两个基线代理，其对应的提示列于此处。每个提示是一个字典，包含以下键：

prompt = {
  "intro": <总体指导方针，包括任务描述、可用操作、提示等>,
  "examples": [
    (
      example_1_observation,
      example_1_response
    ),
    (
      example_2_observation,
      example_2_response
    ),
    ...
  ],
  "template": <如何组织观察、先前操作、指令、URL等不同信息>,
  "meta_data": {
    "observation": <代理使用的观察空间>,
    "action_type": <代理使用的动作空间>,
    "keywords": <模板中使用的关键词，程序随后会枚举模板中的所有关键词，以检查是否都已正确替换为相应内容>,
    "prompt_constructor": <使用的提示构造器，提示构造器会构建输入并传递给LLM，并从生成结果中提取动作，详情如下>,
    "action_splitter": <可在哪个分隔符内提取动作，由提示构造器使用>
  }
}

2. 实现提示构造器。一个使用思维链/ReAct风格推理的提示构造器示例如下此处。提示构造器是一个类，包含以下方法：

• construct: 构建输入并传递给LLM。
• _extract_action: 给定LLM的生成结果，如何提取对应于动作的短语。

引用

如果您使用我们的环境或数据，请引用我们的论文：

@article{zhou2023webarena,
  title={WebArena: A Realistic Web Environment for Building Autonomous Agents},
  author={Zhou, Shuyan and Xu, Frank F and Zhu, Hao and Zhou, Xuhui and Lo, Robert and Sridhar, Abishek and Cheng, Xianyi and Bisk, Yonatan and Fried, Daniel and Alon, Uri and others},
  journal={arXiv preprint arXiv:2307.13854},
  year={2023}
}

WebArena 快速上手指南

WebArena 是一个独立、可自托管的逼真网页环境，专为构建和评估自主智能体（Autonomous Agents）而设计。它模拟了真实的电商、社交、代码托管等网站场景，是测试 Agent 网页导航能力的标准基准。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux, macOS 或 Windows (推荐 WSL2)
• Python 版本: 3.10 或更高 (官方推荐 3.10.9)
• 包管理工具: Conda (推荐) 或 pip
• 网络环境: 需要能够访问 GitHub 和 PyPI。国内用户建议配置镜像源以加速下载。

国内加速建议： 在使用 pip 安装依赖时，推荐使用清华或阿里镜像源：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装步骤

以下步骤将帮助您在一个独立的 Conda 环境中安装 WebArena 及其浏览器驱动。

2.1 创建并激活虚拟环境

conda create -n webarena python=3.10
conda activate webarena

2.2 安装依赖与 Playwright

# 安装项目依赖
pip install -r requirements.txt

# 安装 Playwright 浏览器内核 (这一步会自动下载 Chromium 等浏览器)
playwright install

# 以开发模式安装 webarena 包
pip install -e .

注意：如果您仅用于开发贡献，可额外运行 pip install -e ".[dev]" 并配置 pre-commit 和 mypy，普通用户无需执行此步。

3. 基本使用

WebArena 的使用逻辑与 OpenAI Gym 非常相似。您可以先通过官方提供的演示脚本快速体验环境交互，无需立即部署完整的后端服务。

3.1 运行最小示例

项目提供了一个名为 minimal_example.py 的脚本，用于演示如何初始化浏览器环境并执行随机操作。

python minimal_example.py

该脚本会启动一个可见的浏览器窗口（headless=False），加载演示网站，并执行随机点击操作，适合用于验证环境是否安装成功。

3.2 代码交互示例

如果您希望在代码中直接控制环境，可以参考以下核心流程：

import random
from browser_env import ScriptBrowserEnv, create_id_based_action

# 1. 初始化环境
env = ScriptBrowserEnv(
    headless=False,               # 是否无头模式，调试时建议设为 False
    observation_type="accessibility_tree", # 观察类型：无障碍树
    current_viewport_only=True,   # 仅观察当前视口
    viewport_size={"width": 1280, "height": 720},
)

# 2. 重置环境 (加载特定任务配置)
# config_file 指向具体的任务配置文件，此处仅为示例路径
config_file = "config_files/0.json"
obs, info = env.reset(options={"config_file": config_file})

# 获取文本观察信息 (如 HTML 或无障碍树内容)
# print(obs["text"]) 

# 3. 构建动作
# 例如：随机生成一个点击 ID 的动作
id = random.randint(0, 1000)
action = create_id_based_action(f"click [{id}]")

# 4. 执行动作并获取反馈
obs, reward, terminated, truncated, info = env.step(action)

---

下一步指引： 上述示例仅使用了官方托管的演示站点用于教学。若要进行可复现的端到端评估（Reproducible Experiments），您需要按照项目文档部署独立的 Docker 环境（包含购物、Reddit、GitLab 等完整网站集群），并配置相应的域名变量和自动登录 Cookie。详情请参考项目根目录下的 environment_docker/README.md。