✨ 这是 ACL 2023 论文 面向中文长文档问答的交互式网络搜索 的实现。

请阅读中文版。

---

快速链接

• 快速链接
• 概述
• 要求
• 准备
  • 准备数据
  • 准备模型
• 训练 WebCPM
  • 基于流水线的网络搜索简介
  • 数据预处理
    • 交互式网络搜索的训练数据生成
    • 基于流水线的网络搜索的训练数据生成
  • 训练
• 单任务评估
• 为新问题运行 WebCPM
  • 交互式网络搜索
  • 基于流水线的网络搜索
• 用于数据标注的平台搭建
• 遇到 bug 或有疑问？
• 工具学习资源
• 引用

概述

在本工作中，我们提出了 WebCPM，这是一个使用中文预训练模型进行交互式网络搜索的项目。我们开发了一个网络搜索界面，该界面既能供人类使用，又能收集人类的网络搜索行为。随后，我们对参数规模高达 100 亿的预训练语言模型进行微调，以模仿人类的网络搜索行为，并根据收集到的事实生成答案。我们开源了网络搜索界面、数据集、实现代码以及模型参数。

要求

要运行我们的代码，请使用以下命令安装所有依赖包：

pip install -r requirements.txt

注意：不同版本的软件包（例如 pytorch）可能会导致与论文中不同的结果。然而，无论您使用什么版本的软件包，总体趋势应该保持一致。

准备

准备数据

首先从 Google Drive 下载数据，并将文件 interactive_data 和 pipeline_data 放入 ./data 目录中，或者运行以下命令：

下载的文件包含以下内容：

interactive_data/data.json 是论文实验中使用的数据集（共 5500 个实例）。 interactive_data/data_zhihu.json 是伴随本论文额外收集的数据集（约 900 个实例），问题来源于 知乎，可用于数据增强。

请使用以下代码将上述数据拆分为训练集、验证集和测试集（设置 --add_zhihu 将添加 data_zhihu.json）。

cd data/interactive_data
python split.py --add_zhihu

除了交互式网络搜索数据外，我们还提供了训练基于流水线的网络搜索所需的数据集：pipeline_data（共 11 万个实例）。所有数据均由 text-davinci-003 模型生成（也涉及必应搜索引擎），随后由人工标注员进行手动筛选。（注意这部分未包含在论文中，无需将其拆分为训练/验证/测试集。）

准备模型

WebCPM 基于 CPM-bee，其参数规模最高可达 100 亿，是社区内最大的中文预训练语言模型之一。我们使用的是 CPM-bee 的早期版本，名为 cpm_10b_webcpm_exp.pt。最新版本的 CPM-bee 托管在 New-CPM-bee 中。您可能需要将 cpm-live 包替换为新版本。请注意，该模型检查点尚未针对任何下游任务进行微调。要获取 cpm_10b_webcpm_exp.pt，您可以从 清华大学云 下载模型参数，或运行以下脚本：

cd models
bash download_model_initial_model.sh

上述代码会将未经微调的 100 亿参数模型下载到 models 目录下。对于经过微调的流水线模型，请参考 download_model_pipeline_finetuned.sh，或直接从 清华大学云 手动下载。

训练 WebCPM

我们提供了两个版本的 WebCPM：(1) 交互式网络搜索（ACL 论文提出的方法）和 (2) 基于流水线的网络搜索，后者更易于部署（该方法未在论文中报道）。这两个版本分别使用不同的脚本生成训练数据，但采用相同的代码进行模型训练。

基于流水线的网络搜索简介

其工作流程分为四个阶段：(1) 首先根据原始问题生成可能的搜索查询；(2) 然后针对每个搜索查询调用必应搜索引擎并访问前 K 个网页；(3) 对每个网页提取重要信息；(4) 根据所有记录的信息生成连贯而细致的答案。所有这些步骤均以多任务方式训练，详情请参阅 run_web_browsing/run_pipeline.py。有关交互式网络搜索的详细信息，请参阅我们的原始论文。

数据预处理

在开始之前，请运行以下命令：

export PYTHONPATH=/**your-base-path**/webcpm

训练数据的生成分为交互式网络搜索和基于流水线的方法。以下代码将在相应文件夹中生成 train_data、dev_data 和 test_data，这些数据将在训练过程中被加载。

交互式网络搜索的训练数据生成

首先，使用以下命令构建合成模型的数据：

cd dataset_interactive
python make_data_synthesis_model.py --data_path ../../data/interactive_data  --augment_qa_data --augment_data_path ../../data/pipeline_data

其中一些参数说明如下：

• data_path: 数据源路径。
• augment_qa_data: 是否使用 text-davinci 自动生成的问答数据来增强训练数据。（若要复现论文中的结果，请不要添加此参数）
• augment_data_path: 增强训练数据的路径。

接下来是搜索模型的训练数据生成：

python make_data_search_model.py --add_query --add_action --add_abstract --abstract_all_tokens

其中一些参数说明如下：

• data_path: 数据源路径。
• add_query: 如果为 True，则会添加查询生成数据。
• add_abstract: 如果为 True，则会添加支持性事实抽取数据。
• abstract_all_tokens: 如果为 True，支持性事实抽取模块将生成所有 token，而不仅仅是前几个或后几个 token。
• add_action: 如果为 True，则会添加动作预测数据。
• add_synthesis: 如果为 True，则会加载合成模型的本地数据。请注意，必须先运行 python make_data_synthesis_model.py 获取合成数据，然后再在此处添加该参数。

如果希望以多任务方式训练所有子任务，只需添加上述所有参数；否则，仅添加一个参数（例如 --add_query）即可进行单任务测试。

基于流水线的网络搜索的训练数据生成

请运行以下命令：

cd dataset_pipeline
python make_data.py

训练

要训练 WebCPM，请运行以下命令：

cd training
export PYTHONPATH=/**your-base-path**/webcpm
export CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7
GPUS_PER_NODE=$(echo $CUDA_VISIBLE_DEVICES | tr ',' '\n' | wc -l | xargs)
echo "可见设备数量: $GPUS_PER_NODE，应与实际可见设备数量一致"

set -ex

MASTER_ADDR=localhost
MASTER_PORT=3239
NNODES=1
NODE_RANK=0

OPTS=""
OPTS+=" --model-config config/cpm-bee-10b.json"
OPTS+=" --dataset ../data/dataset_interactive/train_data"
OPTS+=" --dataseteval ../data/dataset_interactive/dev_data"
OPTS+=" --epoch 5"
OPTS+=" --batch-size 8"
OPTS+=" --train-iters 100"
OPTS+=" --save-name webcpm_finetuned"
OPTS+=" --max-length 2560"
OPTS+=" --save ../models/"
OPTS+=" --lr 0.0001"
OPTS+=" --inspect-iters 100"
OPTS+=" --warmup-iters 1"
OPTS+=" --save-epochs 1"
OPTS+=" --lr-decay-style noam"
OPTS+=" --weight-decay 0.01"
OPTS+=" --clip-grad 1.0"
OPTS+=" --loss-scale 32768"
OPTS+=" --start-step 0"
OPTS+=" --load ../models/cpm_10b_webcpm_exp.pt"

CMD="torchrun --nnodes=${NNODES} --nproc_per_node=${GPUS_PER_NODE} --rdzv_id=1 --rdzv_backend=c10d --rdzv_endpoint=${MASTER_ADDR}:${MASTER_PORT} finetune_cpm_bee.py ${OPTS}"

echo ${CMD}
$CMD

其中一些参数说明如下：

• dataset 和 dataseteval: 处理后的文件路径。对于交互式网络搜索，路径为 dataset_interactive；对于基于流水线的方法，路径为 dataset_pipeline。
• batch-size: 单个 GPU 的批次大小，实际批次大小为 GPU 数量 × 每个 GPU 的批次大小。
• max-length: 数据的最大序列长度（不是模型的最大序列长度），超过此长度的训练样本将会被丢弃。
• save-name 和 save: 微调后模型的保存路径及模型检查点的名称。
• epoch: 训练的轮数。
• load: 预训练模型检查点的路径（本例中为 cpmb）。

请注意，无论您训练的是哪个模块（或多任务设置），都可以使用上述代码。我们是在 8 张 80G A100 上进行训练的，您可以根据自己的 GPU 设备调整批次大小，性能对超参数并不敏感。

单任务评估

要评估不同的子任务，您可以先运行以下命令，获取微调后模型在测试数据上的预测结果：

cd inference
python inference.py --test_file ../training/dataset_interactive/test.txt --output_file output/test_predictions.json --ckpt_path **your_finetuned_checkpoint.pt

其中一些参数说明如下：

• test_file: 测试文件路径，应在数据预处理阶段生成。
• output_file: 您希望写入预测结果的路径。
• ckpt_path: 您微调后模型的路径。

获得测试文件的预测结果后，您可以运行以下代码进行单任务评估：

python evaluate.py --input_file output/test_predictions.txt --evaluate_action

其中一些参数说明如下：

• input_file: 您写入测试文件预测结果的路径。
• evaluate_action: 是否要评估动作预测任务（F1）。
• evaluate_query: 是否要评估搜索查询生成任务（Rougel-L）。
• evaluate_abstract: 是否要评估支持性事实抽取任务（Rougel-L）。
• abstract_all_tokens: 您的模型在支持性事实抽取方面采用哪种模式，如果您生成所有 token，请添加此参数（Rougel-L）。
• evaluate_answer: 是否要评估答案合成任务（Rougel-L）。
• beam_size: 将束宽设置为 1 可显著加快推理速度，但可能会略微降低性能。

使用 WebCPM 回答新问题

这是整个流水线评估的实现。您可以使用以下代码为新问题生成答案。请注意，这需要您首先从 这里 获取 Bing 搜索 API 密钥，并运行以下命令：

cd run_web_browsing
export PYTHONPATH=/**base-path**/webcpm
export BING_SEARCH_KEY="**Your Bing Search API Key**"

交互式网络搜索

python run_interactive.py --data_path predictions/test_interactive.json --ckpt_path **your-checkpoint**

基于流水线的网络搜索

python run_pipeline.py --data_path predictions/test.json --ckpt_path **your-checkpoint**

其中一些参数说明如下：

• data_path: 您写入预测结果的路径。
• ckpt_path: 您使用基于流水线的方法进行训练的检查点路径。

数据标注平台搭建

我们开源了我们的网页搜索界面，您可以将其用于数据标注。请参阅标注。目前代码尚显杂乱，我们很快会上传一个更整洁的版本。

发现问题或有疑问？

如果您对代码或论文有任何疑问，请联系Yujia（qyj20@mails.tsinghua.edu.cn）或提交一个问题。

工具学习相关资源

借助基础模型的强大能力，我们非常期待它们在操作各类工具方面的应用。WebCPM便是其中一项典型的研究尝试。更多资源请参阅以下内容：

• BMTools。[项目]

• 工具学习。[论文]

• 工具学习论文列表。[项目]

引用

如果您认为我们的WebCPM很有用，请使用以下引用：

@inproceedings{qin2023webcpm,
    title = "WebCPM: 用于中文长文本问答的交互式网络搜索",
    author={秦宇佳、蔡子涵、金典、闫兰、梁世豪、朱坤伦、林彦凯、韩旭、丁宁、王华东、谢若冰、齐凡超、刘知远、孙茂松、周杰},
    booktitle = "ACL 2023会议论文集",
    year = "2023",
    publisher = "计算语言学协会",
    url = "https://arxiv.org/abs/2305.06849",
}

WebCPM 快速上手指南

WebCPM 是一个基于中文预训练模型（CPM-bee）的交互式网页搜索项目，旨在模仿人类行为进行长文本问答。本项目开源了搜索接口、数据集、实现代码及模型参数。

环境准备

系统要求

• 操作系统: Linux (推荐)
• Python: 3.8+
• GPU: 建议多卡环境（原文使用 8x80G A100），单卡需调整 batch size
• 依赖库: PyTorch, CPM-Live 等

前置依赖

在开始之前，请确保已安装基础依赖。

pip install -r requirements.txt

注意：不同版本的依赖包（如 pytorch）可能导致结果与论文略有差异，但整体趋势一致。

安装步骤

1. 数据准备

下载数据集并放置到 ./data 目录，或使用脚本自动下载。数据集包含交互式搜索数据（5500 条）和流水线式搜索数据（11 万条）。

手动下载: 从 Google Drive 下载 interactive_data 和 pipeline_data 文件夹。

划分数据集:

cd data/interactive_data
python split.py --add_zhihu

注：--add_zhihu 参数会将额外的知乎数据加入训练集以增强数据。

2. 模型准备

WebCPM 基于 10B 参数的 CPM-bee 模型。你需要下载初始预训练权重（未微调）或已微调的流水线模型权重。

下载初始模型 (cpm_10b_webcpm_exp.pt):

cd models
bash download_model_initial_model.sh

备选方案: 若脚本下载失败，可手动从 清华云盘 下载。

下载已微调的流水线模型 (可选):

bash download_model_pipeline_finetuned.sh

备选方案: 手动从 清华云盘 下载。

基本使用

本部分展示如何运行 WebCPM 对新问题进行回答。使用前需配置环境变量并获取 Bing 搜索 API Key。

1. 配置环境与 API

获取 Bing Web Search API Key，然后设置环境变量：

cd run_web_browsing
export PYTHONPATH=/**your-base-path**/webcpm
export BING_SEARCH_KEY="**Your Bing Search API Key**"

(请将 /**your-base-path** 替换为你的项目根目录路径)

2. 运行交互式搜索 (Interactive Web Search)

这是论文中提出的主要方法，模拟人类逐步搜索的行为。

python run_interactive.py --data_path predictions/test_interactive.json --ckpt_path **your-checkpoint**

• --data_path: 输入问题文件的路径。
• --ckpt_path: 你微调后的模型检查点路径（或初始模型路径）。

3. 运行流水线式搜索 (Pipeline-based Web Search)

此版本更易于部署，流程为：生成查询 -> 搜索 -> 提取信息 -> 生成答案。

python run_pipeline.py --data_path predictions/test.json --ckpt_path **your-checkpoint**

4. (可选) 微调训练

如果你希望用自己的数据训练模型，可以使用以下命令启动训练（以交互式搜索为例）：

cd training
export PYTHONPATH=/**your-base-path**/webcpm
export CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7

# 设置分布式训练参数
GPUS_PER_NODE=$(echo $CUDA_VISIBLE_DEVICES | tr ',' '\n' | wc -l | xargs)
MASTER_ADDR=localhost
MASTER_PORT=3239

OPTS=""
OPTS+=" --model-config config/cpm-bee-10b.json"
OPTS+=" --dataset ../data/dataset_interactive/train_data"
OPTS+=" --dataseteval ../data/dataset_interactive/dev_data"
OPTS+=" --epoch 5"
OPTS+=" --batch-size 8"
OPTS+=" --train-iters 100"
OPTS+=" --save-name webcpm_finetuned"
OPTS+=" --max-length 2560"
OPTS+=" --save ../models/"
OPTS+=" --lr 0.0001"
OPTS+=" --load ../models/cpm_10b_webcpm_exp.pt"

CMD="torchrun --nnodes=1 --nproc_per_node=${GPUS_PER_NODE} --rdzv_id=1 --rdzv_backend=c10d --rdzv_endpoint=${MASTER_ADDR}:${MASTER_PORT} finetune_cpm_bee.py ${OPTS}"

$CMD

注意：请根据你的显存大小调整 --batch-size 参数。