该技术被应用于AutoGLM——一系列用于手机操作和网页浏览器使用的基础智能体

📃 论文 | 🤗 WebRL-GLM-4-9B | WebRL-LLaMA-3.1-8B | ModelScope

---

WebRL是一个专为训练网络智能体设计的自进化在线课程学习框架，目标环境是WebArena。

🚀 快速入门

依赖项

首先，创建一个conda环境并安装所有pip包依赖。

conda create -n webrl python==3.10
conda activate webrl

cd WebRL
pip install -e .

模型检查点

行动者检查点

WebRL-GLM-4-9B检查点已在此发布，我们使用它：

• WebRL-GLM-4-9B检查点
• WebRL-Llama-3.1-8B检查点
• WebRL-Llama-3.1-70B检查点

ORM检查点

用于结果监督奖励模型（ORM）的检查点如下：

• ORM-Llama-3.1-8B检查点

✈️ 训练SFT模型

我们使用LLaMA-Factory来训练SFT基线，这是WebRL的起始模型。我们发布了用于训练的代码和数据。你可以使用以下命令来训练SFT基线：

cd LLaMA-Factory
bash run.sh examples/train_full/llama3_full_policy_web.yaml

✈️ 训练WebRL

在训练完SFT基线后，你应该将其作为行动者和评论家的初始模型。你可以使用以下命令来训练WebRL：

bash run_multinode.sh

此命令用于在每个阶段训练行动者和评论家。

💡 生成新指令

你可以使用以下命令生成新指令：

python scripts/gen_task.py

🛜 交互与评估

与WebArena交互的指令和脚本在VAB-WebArena-Lite中提供。你可以根据VAB-WebArena-Lite中的在WebRL设置下评估（文本模式）部分来实现WebRL的交互过程。

为了能够与WebArena交互，你需要按照VAB-WebArena-Lite中提供的test_webarena_lite.raw.json文件中的示例测试用例格式来配置每个任务。以下是任务配置模板：

{
  
  "sites": [
    <site> # 可能的选择: "shopping_admin", "map", "shopping", "reddit", "gitlab"
  ],
  "task_id": <你的任务id>
  "require_login": true,
  "storage_state": "./.auth/shopping_admin_state.json",
  "start_url": <站点的起始URL>, # 可能的选择: "__SHOPPING_ADMIN__", "__SHOPPING__", "__GITLAB__", "__MAP__", "__REDDIT__"
  "geolocation": null,
  "intent_template": "",
  "instantiation_dict": {},
  "intent": <任务>,
  "require_reset": false,
  "eval": {
    "eval_types": [
      "string_match"
    ],
    "reference_answers": {
      "exact_match": "N/A"
    },
    "reference_url": "",
    "program_html": [],
    "string_note": "",
    "reference_answer_raw_annotation": ""
  },
  "intent_template_id": 0
}

配置好任务后，使用脚本scripts/generate_test_data.py来生成配置文件。请确保修改脚本中的数据路径，使其指向包含你配置的交互案例的JSON文件。

交互结束后，运行scripts/process_data.py来处理交互轨迹。

python scripts/process_data.py \
  --stage 1 2 \
  --add_reward \
  --rollout_path <交互轨迹目录> \
  --experience_paths "path1", "path2" \ 
  --orm_path <ORM模型路径> \
  --actor_path <用于计算困惑度的行动者模型路径> \
  --output_path <输出文件路径>

• stage: 指定数据的处理方式
  • 1: 将回放轨迹转换为所需格式。
  • 2: 纳入经过困惑度筛选的历史经验。
• add_reward: 应用ORM为每条轨迹打标签。
• output_path: 包含处理后的交互轨迹的文件，可直接用于训练。
  • stage 1: 处理后的交互轨迹将保存在此文件中。包含没有历史经验的数据。
  • stage 2: 还会生成一个附加文件，即output_path + '_filter'。
    • output_path: 包含没有历史经验的数据。
    • output_path + '_filter': 包含有历史经验的数据。
• rollout_path: 包含初始交互轨迹的traces子文件夹路径，通常是在运行Webarena-Lite后生成的。
• experience_paths: 之前各阶段处理过的交互数据文件路径列表。我们提供了格式已修改的SFT数据，可用作经验数据，位于/scripts/webarena_lite_sft.pt。

无论是output_path还是output_path + '_filter'，都已格式化，可直接用于后续训练。

引用

@article{qi2024webrl,
  title={WebRL: Training LLM Web Agents via Self-Evolving Online Curriculum Reinforcement Learning},
  author={Qi, Zehan and Liu, Xiao and Iong, Iat Long and Lai, Hanyu and Sun, Xueqiao and Yang, Xinyue and Sun, Jiadai and Yang, Yu and Yao, Shuntian and Zhang, Tianjie and others},
  journal={arXiv preprint arXiv:2411.02337},
  year={2024}
}

WebRL 快速上手指南

WebRL 是一个用于训练 Web 智能体的自进化在线课程学习框架，专为 WebArena 环境设计。本指南将帮助您快速搭建环境并运行基础训练流程。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu)
• Python 版本: 3.10
• 依赖管理: Conda
• 硬件: 建议配备 NVIDIA GPU 以支持模型训练与推理

安装步骤

1. 创建并激活 Conda 环境

首先创建一个名为 webrl 的独立环境并安装 Python 3.10：

conda create -n webrl python==3.10
conda activate webrl

2. 安装项目依赖

进入项目目录并以可编辑模式安装所需包：

cd WebRL
pip install -e .

提示：国内用户建议使用清华或阿里镜像源加速安装： pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

1. 获取模型检查点

您可以从 Hugging Face 或 ModelScope 下载预训练模型。

Actor 模型 (策略模型):

• WebRL-GLM-4-9B
• WebRL-Llama-3.1-8B
• WebRL-Llama-3.1-70B

ORM 模型 (奖励模型):

• ORM-Llama-3.1-8B

国内加速：也可通过 ModelScope 下载模型文件。

2. 训练 SFT 基线模型

WebRL 需要一个经过监督微调（SFT）的基线模型作为起点。本项目基于 LLaMA-Factory 进行训练：

cd LLaMA-Factory
bash run.sh examples/train_full/llama3_full_policy_web.yaml

3. 启动 WebRL 训练

使用训练好的 SFT 模型作为 Actor 和 Critic 的初始权重，运行多节点训练脚本：

bash run_multinode.sh

4. 生成新指令任务

若需扩展训练任务，可运行以下脚本生成新的指令数据：

python scripts/gen_task.py

5. 交互与评估数据处理

要在 WebArena 环境中进行评估，需参考 VAB-WebArena-Lite 配置任务。完成交互后，使用以下命令处理轨迹数据以供后续训练使用：

python scripts/process_data.py \
  --stage 1 2 \
  --add_reward \
  --rollout_path <directory_of_interaction_trajectories> \
  --experience_paths "path1", "path2" \ 
  --orm_path <path_to_ORM_model> \
  --actor_path <path_to_actor_model_for_computing_perplexity> \
  --output_path <path_to_output_file>

参数说明：

• --stage:
  • 1: 将滚动轨迹转换为标准格式。
  • 2: 加入基于困惑度过滤的历史经验数据。
• --add_reward: 使用 ORM 模型为每条轨迹打标奖励值。
• --rollout_path: 包含初始交互轨迹的目录（通常由 WebArena-Lite 生成）。
• --output_path: 输出文件路径。阶段 2 会额外生成一个 <output_path>_filter 文件，包含带历史经验的数据。