🛒 WebShop

WebShop环境及搜索智能体的实现，用于以下论文：

WebShop：迈向可扩展的真实世界网络交互——基于 grounded 语言代理
姚顺宇*、霍华德·陈*、约翰·杨、卡尔蒂克·纳拉西曼

本仓库包含用于复现实验结果的代码。如果您在研究中使用了本工作，请引用如下：

@inproceedings{yao2022webshop,
  bibtex_show = {true},
  title = {WebShop: Towards Scalable Real-World Web Interaction with Grounded Language Agents},
  author = {Yao, Shunyu and Chen, Howard and Yang, John and Narasimhan, Karthik},
  booktitle = {ArXiv},
  year = {preprint},
  html = {https://arxiv.org/abs/2207.01206},
  tag = {NLP}
}

📖 目录

• 👋 概述
• 🚀 设置
• 🛠️ 使用
• 💫 贡献
• 🪪 许可证

👋 概述

WebShop是一个模拟的电子商务网站环境，包含118万件真实商品和12,087条众包文本指令。在这个环境中，智能体需要导航多种类型的网页，并执行多样化的操作，以根据给定的指令找到、定制并购买商品。WebShop带来了多项挑战，包括理解复合指令、查询（重新）构建、处理网页中的噪声文本以及进行策略性探索。

Hugging Face演示：您可以为某件商品设计自己的自然语言查询，并让经过WebShop训练的智能体在亚马逊或eBay上为您找到它。该演示已部署为一个🤗 Hugging Face空间，点击此处！

🚀 设置

我们的代码使用Python编写。设置步骤如下：

1. 安装Python 3.8.13
2. 安装Java
3. 克隆源代码：

> git clone https://github.com/princeton-nlp/webshop.git webshop

4. 使用Anaconda创建虚拟环境并激活：

> conda create -n webshop python=3.8.13
> conda activate webshop

5. 通过setup.sh脚本将依赖项安装到webshop虚拟环境中：

> ./setup.sh [-d small|all]

该脚本会按顺序执行以下操作：

• 安装requirements.txt中列出的Python依赖包
• 下载用于填充WebShop的商品和指令数据
• 下载spaCy en_core_web_lg模型
• 根据商品和指令数据构建搜索引擎索引
• 下载由MTurk众包工作者生成的50条随机轨迹 -d参数可用于指定是下载完整商品+指令数据集（-d all）还是仅下载1000个随机商品（-d small）。

6. 默认情况下，WebShop仅加载1,000件商品以加快环境预览速度。如需加载全部商品，请修改web_agent_site/utils.py文件：

# DEFAULT_ATTR_PATH = join(BASE_DIR, '../data/items_ins_v2_1000.json')
# DEFAULT_FILE_PATH = join(BASE_DIR, '../data/items_shuffle_1000.json')
DEFAULT_ATTR_PATH = join(BASE_DIR, '../data/items_ins_v2.json')
DEFAULT_FILE_PATH = join(BASE_DIR, '../data/items_shuffle.json')

7. （可选）从这里下载ResNet图像特征文件，并将其放入data/目录中，以便运行需要图像特征的模型。

8. （可选）人类示范数据可从这里下载。

🛠️ 使用

WebShop环境有两种渲染模式——html和simple——每种模式提供不同的观测空间。simple模式去除了html模式中包含的冗余元数据，从而简化了模型的训练和评估。

网页环境（html模式）

启动WebShop网页：

> ./run_dev.sh

随后您可以在浏览器中访问该站点。前往http://localhost:3000/ABC，您将进入带有随机指令的搜索首页。

在网站上浏览时，系统会自动在user_session_logs/mturk文件夹中生成相应的轨迹文件。每个文件对应一次指令/会话，而文件中的每一步则对应一个动作（如search[...]、click[...]）。

当前的WebShop版本支持两个标志：

• --log：启用此标志可在WebShop上记录动作轨迹的.jsonl日志文件
• --attrs：启用此标志可在WebShop的item_page上显示“Attributes”选项卡

文本环境（simple模式）

WebShop环境的simple模式被打包成OpenAI环境，可以直接使用。文本环境的OpenAI gym定义位于web_agent_site/envs文件夹中。

要开始使用gym并构建与WebShop环境交互的智能体，请在您的Python文件中加入以下语句：

import gym
from web_agent_site.envs import WebAgentTextEnv

env = gym.make('WebAgentTextEnv-v0', observation_mode='text', num_products=...)

现在，您可以通过标准的OpenAI gym 接口编写自己的智能体来与环境互动。

run_envs文件夹中提供了RandomPolicy智能体在html和simple模式下与WebShop环境交互的示例。要在本地运行这些示例，请执行run_web_agent_text_env.sh或run_web_agent_site_env.sh脚本：

> ./run_web_agent_text_env.sh
Products loaded.
Keys Cleaned.
Attributes Loaded.
100%|██████████████████| 1000/1000
Loaded 6910 goals.
Amazon Shopping Game [SEP] Instruction: [SEP] Find me slim f...
Available actions: {'has_search_bar': True, 'clickables': ['search']}
Taking action "search[shoes]" -> Reward = 0.0
...

要运行run_web_agent_site_env.sh脚本，您需要下载与您的Chrome浏览器版本兼容的ChromeDriver。下载并解压可执行文件后，将其重命名为chromedriver，并放置在webshop/envs文件夹中。

基线模型

如需运行论文中的基线模型（规则、IL、RL、IL+RL），请参阅 baseline_models 文件夹中的 README.md。

仿真到现实的迁移

如需了解在 WebShop 上训练的智能体如何迁移到其他环境，请参阅 transfer 文件夹中的 README.md。

💫 贡献

我们非常期待来自更广泛的自然语言处理和机器学习社区的反馈，并欢迎任何形式的贡献、拉取请求或问题！如需参与，请提交新的拉取请求或问题，并按照相应的模板填写。我们会尽快跟进！

🪪 许可证

请查看 LICENSE.md。

WebShop 快速上手指南

WebShop 是一个模拟电子商务网站环境，包含 118 万种真实商品和 1.2 万条众包文本指令。在该环境中，智能体（Agent）需要根据自然语言指令导航网页、执行搜索、定制并购买商品。本项目提供了基于 Python 的环境实现及搜索智能体代码。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux 或 macOS (Windows 用户建议使用 WSL2)
• Python: 3.8.13 (版本需严格匹配)
• Java: 已安装并配置环境变量
• Git: 用于克隆代码库
• Conda: 推荐使用 Anaconda 或 Miniconda 管理虚拟环境
• 浏览器驱动 (可选): 若需运行 html 模式，需下载与本地 Chrome 版本匹配的 ChromeDriver。

国内开发者提示：

• 安装 Python 依赖时，建议临时切换至清华或阿里镜像源以加速下载： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
• 若无法访问 Hugging Face 或 Google Drive，需自行配置网络代理或寻找国内镜像资源下载 spaCy 模型及数据文件。

安装步骤

请依次执行以下命令完成环境搭建：

1. 克隆项目代码

   git clone https://github.com/princeton-nlp/webshop.git webshop
   cd webshop
   

2. 创建并激活 Conda 虚拟环境

   conda create -n webshop python=3.8.13
   conda activate webshop
   

3. 运行安装脚本 执行 setup.sh 脚本将自动安装依赖、下载数据（默认下载 1000 个商品的精简版以便快速预览）、构建搜索引擎索引及下载 SpaCy 模型。

   • 下载精简数据集（推荐快速开始）：

     ./setup.sh -d small
     

   • 下载完整数据集（118 万商品，耗时较长）：

     ./setup.sh -d all
     

4. 加载全量数据（可选） 默认情况下环境仅加载 1000 个商品。若需加载全部商品，请编辑 web_agent_site/utils.py 文件，注释掉前两条路径配置，启用后两条：

   # DEFAULT_ATTR_PATH = join(BASE_DIR, '../data/items_ins_v2_1000.json')
   # DEFAULT_FILE_PATH = join(BASE_DIR, '../data/items_shuffle_1000.json')
   DEFAULT_ATTR_PATH = join(BASE_DIR, '../data/items_ins_v2.json')
   DEFAULT_FILE_PATH = join(BASE_DIR, '../data/items_shuffle.json')
   

5. 配置 ChromeDriver (仅 html 模式需要) 下载对应版本的 ChromeDriver，重命名为 chromedriver 并放入 webshop/envs 目录下。

基本使用

WebShop 提供两种运行模式：HTML 模式（可视化网页）和 Simple 模式（纯文本 Gym 环境）。

模式一：可视化网页环境 (HTML Mode)

此模式会启动一个本地 Web 服务器，您可以在浏览器中观察智能体的交互过程。

1. 启动服务：

   ./run_dev.sh
   

2. 打开浏览器访问：http://localhost:3000/ABC

3. 页面将显示随机指令，您在网页上的操作（搜索、点击）会自动记录到 user_session_logs/mturk 文件夹下的轨迹文件中。

   • 添加 --log 参数可生成 .jsonl 轨迹日志。
   • 添加 --attrs 参数可在商品页显示属性标签。

模式二：文本训练环境 (Simple Mode)

此模式基于 OpenAI Gym 接口封装，适合用于训练和评估强化学习或语言模型智能体。

1. 在 Python 代码中初始化环境：

   import gym
   from web_agent_site.envs import WebAgentTextEnv
   
   # 初始化环境，observation_mode 设为 'text'
   env = gym.make('WebAgentTextEnv-v0', observation_mode='text', num_products=1000)
   
   # 重置环境获取初始状态
   obs = env.reset()
   print(obs)
   

2. 运行官方提供的随机策略示例：

   ./run_web_agent_text_env.sh
   

   输出示例：

   Products loaded.
   Keys Cleaned.
   Attributes Loaded.
   Loaded 6910 goals.
   Amazon Shopping Game [SEP] Instruction: [SEP] Find me slim f...
   Available actions: {'has_search_bar': True, 'clickables': ['search']}
   Taking action "search[shoes]" -> Reward = 0.0
   ...
   

3. 若需运行 HTML 模式的 Gym 示例：

   ./run_web_agent_site_env.sh
   

完成上述步骤后，您即可基于 gym 接口编写自定义 Agent，或在 baseline_models 目录中参考论文中的基线模型（规则、模仿学习、强化学习等）进行进一步开发。