🖥️ WebLlama🦙

构建能够根据指令浏览网页并与您对话的智能体

💻 GitHub	🏠 主页	🤗 Llama-3-8B-Web

WebLlama 帮助您构建由 Meta Llama 3 提供支持的强大智能体，以代表您浏览网页	我们的首个模型 Llama-3-8B-Web 在 WebLINX 1.0 上的表现比 GPT-4V（零样本）高出 18%

关于项目

@misc{lu_2024_weblinx,
      title={WebLINX: Real-World Website Navigation with Multi-Turn Dialogue}, 
      author={Xing Han Lù and Zdeněk Kasner and Siva Reddy},
      year={2024},
      eprint={2402.05930},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

我们使用 WebLlama 库，该库建立在 WebLINX 的基础上 \citep{lu_2024_weblinx}。

我们使用 Llama-3-8B-Web 模型，该模型是在 WebLINX 示范数据上微调的 \citep{lu_2024_weblinx}。

建模

[!NOTE] 该模型已在 🤗 Hugging Face Model Hub 上发布，名称为 McGill-NLP/Llama-3-8B-Web。训练和评估数据则可在 Hugging Face Hub 上找到，数据集名为 McGill-NLP/WebLINX。

我们的首个智能体是一个基于 Meta-Llama-3-8B-Instruct 微调的模型，该模型最近由 Meta GenAI 团队发布。我们在此基础上使用了 WebLINX 1.0 数据集进行微调，该数据集包含超过 10 万个网页导航和对话实例，每一条都由专业标注人员收集并验证。我们从中选取了 2.4 万个精心筛选的子集用于训练。

*它在 WebLINX 1.0 基准测试中，比 GPT-4V（零样本 ）高出 18% 以上，在域外测试划分上的综合得分达到 28.8%，而 GPT-4V 仅为 10.5%。它会选择更有用的链接（34.1% 对 18.9% 的 seg-F1），点击更相关的元素（27.1% 对 13.6% 的 IoU），并生成更贴合需求的响应（37.5% 对 3.1% 的 chr-F1）。

使用 Hugging Face 的 transformers、datasets 和 hub 库来运行该模型非常简单：

from datasets import load_dataset
from huggingface_hub import snapshot_download
from transformers import pipeline

# 我们使用验证数据，但您也可以使用自己的数据
valid = load_dataset("McGill-NLP/WebLINX", split="validation")
snapshot_download("McGill-NLP/WebLINX", repo_type="dataset", allow_patterns="templates/*")
template = open('templates/llama.txt').read()

# 在单个状态（文本表示）上运行智能体并获取行动
state = template.format(**valid[0])
agent = pipeline("McGill-NLP/Llama-3-8b-Web")
out = agent(state, return_full_text=False)[0]
print("Action:", out['generated_text'])

# 接下来，您可以将预测结果应用于 playwright 或 browsergym 等平台
action = process_pred(out['generated_text'])  # 根据您的平台实现
env.step(action)  # 在您的环境中执行该动作

评估

我们认为，仅仅通过简短的演示视频来展示智能体的表现，并不足以对其作出准确判断。简而言之，如果没有完善的基准测试，我们就无法确定自己是否拥有一个优秀的智能体。 我们需要系统地评估智能体在各种任务上的表现，从简单的遵循指令的网页导航，到复杂的对话引导式浏览。

这就是我们选择 WebLINX 作为首个基准的原因。除了训练划分之外，该基准还包含 4 个真实世界的划分，旨在测试智能体在多个维度上的泛化能力：新的网站、新的域名、未见过的地理位置，以及“用户无法看到屏幕而完全依赖对话”的场景。它还涵盖了 150 个网站，涉及预订、购物、写作、知识查询，甚至像操作电子表格这样复杂的任务。在这个基准上进行评估非常简单：

cd modeling/

# 安装好依赖项、下载数据集并训练/评估完您的模型后，即可进行评估：
python -m weblinx.eval # 自动查找所有 `results.jsonl` 并生成 `aggregated_results.json` 文件

# 使用我们的应用可视化您的结果：
cd ..
streamlit run app/Results.py

👷‍♀️ 下一步计划
我们计划在更多基准上评估我们的模型，包括用于自动网页导航的 Mind2Web 基准。我们认为，一个优秀的智能体应该既能通过对话导航网页，也能自主导航，并且可能具备更广泛的技能，以应对真实世界的网页浏览需求。

数据

尽管来自 WebLINX 1.0 的 24K 个训练示例为训练一个功能强大的智能体提供了一个良好的起点，但我们认为，要训练出能够泛化到各种网络导航任务的智能体，还需要更多的数据。虽然该模型已经在 150 个网站上进行了训练和评估，但仍有数以百万计的网站是模型从未见过的，而且每天都有新网站不断涌现。

这促使我们持续地收集、整理并发布用于训练更好智能体的数据集。 作为下一步，我们将把 Mind2Web 的训练数据纳入其中，这些数据同样涵盖了超过 100 个网站。

[!NOTE] WebLINX 现已通过 BrowserGym 作为一个基准测试平台提供，您可以像使用 WebArena 或 MiniWoB 这样的网络智能体环境一样，访问演示步骤。同时，您也可以运行来自 Agentlab 库中的智能体，其中包括利用 Claude-3.5-Sonnet 实现 SOTA 性能的智能体。为了实现这一集成，我们在 PyPi 上发布了 BrowserGym 的 weblinx-browsergym 扩展，以及在 Huggingface 上发布的基于 WebLINX 的新数据集 WebLINX 1.1 (链接)。在 WebLINX 1.1 中，经过处理后移除了少量演示，但未添加新的演示。评估步骤有了重大变化，加入了标签页操作。请在您的工作中将结果标注为“WebLINX-1.1”、“WebLINX-BrowserGym”或“WebLINX-BG”，以区别于 WebLINX 初始版本 (1.0)。

部署

我们正在努力使您能够轻松地将 Llama 网络智能体部署到网络上。我们希望将 WebLlama 与现有的部署平台集成，包括 Microsoft 的 Playwright、ServiceNow Research 的 BrowserGym 以及其他合作伙伴。

目前，我们提供以下集成：

• Browsergym: 更多信息请参阅 examples/README.md 和 docs/README.md。

代码

用于微调模型并在 WebLINX 1.0 基准上对其进行评估的代码现已公开。

• 建模: 您可以在 modeling 中找到详细的说明，了解如何在 WebLINX 1.0 数据集上训练 Llama-3-8B-Web。
• 示例: 我们提供了一些使用 webllama API 和模型的示例，包括网页 API、端到端流程以及与 BrowserGym 的集成。这些示例可在 examples 中找到。
• 应用: 我们提供了一个简单的 Streamlit 应用程序，用于可视化您的模型在 WebLINX 1.0 基准上的结果。相关代码可在 app 中找到。
• 文档: 我们为代码提供了详细的文档，详见 docs。

👷‍♀️ 下一步
目前我们正积极开发新的数据和评估方法！如果您想参与贡献，请创建一个议题，说明您希望做出哪些贡献，我们将很乐意帮助您入门。

许可证

本仓库中的代码采用 MIT 许可证，除非文件头部另有说明。其他材料（模型、数据、图片）则有各自的许可证，具体信息见原始页面。

常见问题解答

我如何参与该项目？

我们正在积极寻找合作者，共同打造最优秀的 Llama-3 网络智能体！要开始参与，请提交一个关于您希望贡献内容的议题，讨论确定后，您可以提交拉取请求。

引用

如果您在研究中使用了 WebLlama，可以引用其训练和评估所基于的 ICML 2024 论文，并在您的 BibTeX 文件中加入以下条目：

@misc{lu_2024_weblinx,
      title={WebLINX: Real-World Website Navigation with Multi-Turn Dialogue}, 
      author={Xing Han Lù and Zdeněk Kasner and Siva Reddy},
      year={2024},
      eprint={2402.05930},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

使用示例（LaTeX）：

我们使用 WebLlama 库，它基于 WebLINX \citep{lu_2024_weblinx}。

我们使用 Llama-3-8B-Web 模型，该模型是在 WebLINX 演示数据上微调得到的 \citep{lu_2024_weblinx}。

WebLlama 快速上手指南

WebLlama 是一个基于 Meta Llama 3 构建的开源项目，旨在打造能够理解指令、通过对话协助用户浏览网页的智能体（Agent）。其核心模型 Llama-3-8B-Web 在 WebLINX 基准测试中表现优异，超越了零样本设置的 GPT-4V。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux 或 macOS（推荐 Linux 以获得最佳兼容性）。
• Python 版本：Python 3.9 或更高版本。
• 硬件要求：
  • 推理：建议至少 16GB GPU 显存（用于运行 8B 参数模型）。
  • 训练：需要多卡 GPU 环境（如需微调）。
• 前置依赖：
  • pip 包管理工具
  • git
  • Hugging Face 账号（用于访问模型和数据集）

提示：国内开发者若遇到 Hugging Face 连接超时问题，建议配置镜像源加速：

export HF_ENDPOINT=https://hf-mirror.com

安装步骤

1. 克隆项目代码

首先从 GitHub 获取源代码：

git clone https://github.com/McGill-NLP/webllama.git
cd webllama

2. 安装 Python 依赖

安装项目所需的 Python 库。建议使用虚拟环境：

python -m venv venv
source venv/bin/activate  # Windows 用户使用: venv\Scripts\activate

pip install -r requirements.txt
# 如果项目中没有 requirements.txt，请安装核心依赖：
pip install transformers datasets huggingface_hub accelerate streamlit

3. 下载模型与数据模板

使用 huggingface_hub 下载必要的模型权重和数据集模板。 (注：若已配置上述 HF_ENDPOINT 环境变量，将自动通过国内镜像下载)

from huggingface_hub import snapshot_download

# 下载数据集模板 (用于构建输入状态)
snapshot_download("McGill-NLP/WebLINX", repo_type="dataset", allow_patterns="templates/*")

# 模型将在首次运行时自动下载，也可预先下载：
# snapshot_download("McGill-NLP/Llama-3-8B-Web", repo_type="model")

基本使用

以下是最简单的 Python 示例，展示如何加载 Llama-3-8B-Web 模型并生成网页操作动作。

代码示例

from datasets import load_dataset
from transformers import pipeline

# 1. 加载验证数据集（也可替换为您自己的数据）
# 注意：确保已下载 templates 文件夹
valid = load_dataset("McGill-NLP/WebLINX", split="validation")

# 2. 读取并格式化输入模板
template_path = 'templates/llama.txt'
with open(template_path, 'r') as f:
    template = f.read()

# 构造单个状态输入
state = template.format(**valid[0])

# 3. 初始化 Agent 管道
# 模型会自动从 Hugging Face Hub 下载（如果本地不存在）
agent = pipeline("text-generation", model="McGill-NLP/Llama-3-8B-Web")

# 4. 生成动作预测
out = agent(state, return_full_text=False)[0]
action_text = out['generated_text']

print("预测动作:", action_text)

# 5. 执行动作（伪代码，需根据具体平台如 Playwright/BrowserGym 实现解析逻辑）
# action = process_pred(action_text) 
# env.step(action)

结果可视化

项目提供了一个 Streamlit 应用，用于直观查看模型在 WebLINX 基准上的评估结果：

streamlit run app/Results.py

下一步

• 集成部署：参考 examples/README.md 了解如何将模型集成到 Playwright 或 BrowserGym 环境中进行实际网页操控。
• 微调训练：如需针对特定场景优化模型，请参阅 modeling/README.md 获取详细的训练脚本和配置说明。