WebGLM：迈向高效且符合人类偏好的网络增强问答系统

📃 论文（KDD'23） • 🌐 中文 README • 🤗 HF 仓库 [WebGLM-10B] [WebGLM-2B] • 📚 数据集 [WebGLM-QA]

这是 WebGLM 的官方实现。如果您觉得我们的开源工作有所帮助，请为本仓库点个 star，以鼓励我们继续开发！

[请点击观看演示！]

请阅读 中文版。

更新

[2023年6月25日] 发布 ChatGLM2-6B，这是对 ChatGLM-6B 的升级版本，引入了多项新特性：

1. 更强的性能：我们对 ChatGLM2-6B 进行了全面升级。它采用了 GLM 的混合目标函数，并使用 1.4T 双语数据进行了预训练，同时进行了人类偏好对齐训练。根据 评估结果，与初代模型相比，ChatGLM2-6B 在 MMLU（+23%）、CEval（+33%）、GSM8K（+571%）、BBH（+60%）等数据集上的表现有了显著提升，展现出与同规模模型相比的强大竞争力。
2. 更长的上下文：基于 FlashAttention 技术，我们将基础模型的上下文长度从 ChatGLM-6B 的 2K 扩展到了 32K，并在对话对齐过程中以 8K 的上下文长度进行训练，从而支持更多轮的对话。不过，当前版本的 ChatGLM2-6B 对于单轮超长文档的理解能力仍有限，我们将在后续迭代中重点优化这一方面。
3. 更高效的推理：基于 Multi-Query Attention 技术，ChatGLM2-6B 的推理速度更快、显存占用更低：在官方实现下，推理速度比初代提升了 42%；而在 INT4 量化条件下，6GB 显存支持的对话长度由 1K 提升至 8K。

更多细节请参阅 ChatGLM2-6B。

• 概述
  • 特性
• 新闻
• 准备
  • 准备代码和环境
  • 准备 SerpAPI 密钥
  • 准备检索器检查点
• 试用 WebGLM
  • 导出环境变量
  • 作为命令行界面运行
  • 作为 Web 服务运行
• 训练 WebGLM
  • 训练生成器
    • 准备数据
    • 训练
  • 训练检索器
    • 准备数据
    • 训练
• 评估
• 实际应用案例
• 引用

概述

WebGLM 致力于利用拥有 100 亿参数的通用语言模型（GLM），提供一种高效且经济实惠的网络增强问答系统。通过将网络搜索和检索功能整合到预训练的语言模型中，旨在提升其在现实场景中的应用部署效果。

特性

• LLM 增强型检索器：提升相关网页内容的检索能力，从而更准确地回答问题。
• 自举式生成器：利用 GLM 的强大能力生成接近人类的回答，提供更加精准的答案。
• 人类偏好感知评分器：通过优先考虑人类偏好来评估生成答案的质量，确保系统输出有用且吸引人的内容。

新闻

• [2023年6月24日] 我们现在支持通过 Bing 进行搜索！
• [2023年6月14日] 我们发布了 WebGLM 的代码及 论文！

准备

准备代码和环境

克隆本仓库，并安装 Python 依赖项。

pip install -r requirements.txt

安装 Node.js。

apt install nodejs # 如果您使用 Ubuntu

安装 Playwright 的依赖项。

playwright install

如果您的主机上尚未安装浏览器环境，则需要先进行安装。不用担心，Playwright 在首次执行时会给出相应的提示。

准备 SerpAPI 密钥

在搜索过程中，我们使用 SerpAPI 获取搜索结果。您需要从 这里 获取一个 SerpAPI 密钥。

然后，将环境变量 SERPAPI_KEY 设置为您获得的密钥。

export SERPAPI_KEY="YOUR KEY"

或者，您也可以使用本地浏览器环境（Playwright）进行必应搜索。只需在启动命令中添加 --searcher bing 即可使用必应搜索。（详见 作为命令行界面运行 和 作为 Web 服务运行）

准备检索器检查点

通过运行以下命令，在 ModelScope 上下载检索器检查点。

您还可以通过 --save SAVE_PATH 参数手动指定保存检查点的路径。

python download.py retriever-pretrained-checkpoint

试用 WebGLM

在运行代码之前，请确保您的设备有足够的存储空间。

导出环境变量

将环境变量 WEBGLM_RETRIEVER_CKPT 导出为检索器检查点的路径。如果您已将检索器检查点下载到默认路径，则可以直接运行以下命令。

export WEBGLM_RETRIEVER_CKPT=./download/retriever-pretrained-checkpoint

作为命令行界面运行

您可以尝试使用 WebGLM-2B 模型：

python cli_demo.py -w THUDM/WebGLM-2B

或者直接使用 WebGLM-10B 模型：

python cli_demo.py

如果您想使用必应搜索而不是 SerpAPI，可以在命令行中添加 --searcher bing，例如：

python cli_demo.py -w THUDM/WebGLM-2B --searcher bing

作为 Web 服务运行

使用与 cli_demo.py 相同的参数运行 web_demo.py，即可启动一个 Web 服务。例如，您可以尝试使用必应搜索的 WebGLM-2B 模型：

python web_demo.py -w THUDM/WebGLM-2B --searcher bing

训练 WebGLM

训练生成器

准备数据 (WebGLM-QA)

通过运行以下命令行，在清华大学云上下载训练数据（WebGLM-QA）。

python download.py generator-training-data

它会自动下载所有数据，并将其预处理为 ./download 目录中可直接使用的 seq2seq 格式。

训练

请参考 GLM 仓库 进行 seq2seq 训练。

训练检索器

准备数据

通过运行以下命令行，在清华大学云上下载训练数据。

python download.py retriever-training-data

训练

运行以下命令行来训练检索器。如果你已将检索器训练数据下载到默认路径，只需运行下面的命令即可。

python train_retriever.py --train_data_dir ./download/retriever-training-data

评估

你可以在 TriviaQA、WebQuestions 和 NQ Open 数据集上复现我们的结果。以 TriviaQA 为例，只需运行以下命令行：

bash scripts/triviaqa.sh

即可开始实验。

实际应用案例

这里你可以看到一些 WebGLM 的实际应用场景示例。

新冠疫情什么时候会消失？

如何平衡事业与爱好？

FL Studio 和 Cubase，哪个更好？

注意力机制比 CNN 更好吗？

在一线城市没有高薪工作的情况下，如何生存？

你对原神 3.5 版本怎么看？

Transformer 最初是用于自然语言处理的，为什么也能应用于计算机视觉呢？

Music Transformer 是由谁提出的？它是如何工作的？

Toolformer 的骨干网络是什么？

许可证

本仓库采用 Apache-2.0 许可证授权。模型权重的使用受 Model_License 约束。所有开源数据仅用于研究目的。

引用

如果你在研究中使用了本代码，请引用我们的论文。

@misc{liu2023webglm,
      title={WebGLM: Towards An Efficient Web-Enhanced Question Answering System with Human Preferences},
      author={Xiao Liu and Hanyu Lai and Hao Yu and Yifan Xu and Aohan Zeng and Zhengxiao Du and Peng Zhang and Yuxiao Dong and Jie Tang},
      year={2023},
      eprint={2306.07906},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

此仓库经过简化，以便于部署。

WebGLM 快速上手指南

WebGLM 是一个基于 100 亿参数 GLM 模型的高效网页增强问答系统。它结合了网络搜索检索能力与人类偏好对齐技术，能够生成准确且符合人类喜好的回答。

环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu) 或 macOS
• Python: 3.8+
• Node.js: 需安装 Nodejs 以支持部分前端功能
• 显存:
  • 运行 WebGLM-2B 模型：建议 6GB+ 显存
  • 运行 WebGLM-10B 模型：建议 16GB+ 显存

前置依赖

本项目依赖 playwright 进行网页浏览，首次运行时可能需要安装浏览器内核。

安装步骤

1. 克隆代码库

git clone https://github.com/THUDM/WebGLM.git
cd WebGLM

2. 安装 Python 依赖

pip install -r requirements.txt

3. 安装系统级依赖 (Ubuntu)

apt install nodejs

4. 安装 Playwright 浏览器内核

playwright install

注：如果执行后提示缺少系统库，请按照终端输出的指令安装相应的系统依赖包。

5. 下载检索器检查点 (Retriever Checkpoint)

国内用户推荐使用 ModelScope 或直接运行脚本下载：

python download.py retriever-pretrained-checkpoint

默认下载路径为 ./download/retriever-pretrained-checkpoint。

基本使用

在运行前，请配置必要的环境变量并选择搜索方式。

1. 配置环境变量

设置检索器检查点路径：

export WEBGLM_RETRIEVER_CKPT=./download/retriever-pretrained-checkpoint

2. 配置搜索服务 (二选一)

方案 A：使用 SerpAPI (推荐，无需本地浏览器渲染) 获取 SerpAPI Key 并导出：

export SERPAPI_KEY="YOUR_SERPAPI_KEY"

方案 B：使用 Bing 搜索 (本地浏览器模式) 无需 Key，但需确保 playwright 已正确安装浏览器内核。使用时需在命令中附加 --searcher bing 参数。

3. 运行命令行演示 (CLI)

运行 WebGLM-10B (默认):

python cli_demo.py

(若使用 Bing 搜索)

python cli_demo.py --searcher bing

运行 WebGLM-2B (轻量版):

python cli_demo.py -w THUDM/WebGLM-2B

(若使用 Bing 搜索)

python cli_demo.py -w THUDM/WebGLM-2B --searcher bing

4. 运行 Web 服务

启动本地 Web 界面进行交互：

python web_demo.py -w THUDM/WebGLM-2B --searcher bing

启动后在浏览器访问显示的本地地址即可。