使用 🤗transformers 进行问题生成

• 使用 🤗transformers 进行问题生成
  • 项目详情
  • 初步实验
    • 基于答案的问题生成
    • 答案抽取模型
    • 多任务问答-问题生成
    • 端到端问题生成（无需答案监督）
  • 结果
  • 要求
  • 使用方法
    • 问题生成
    • 多任务问答-问题生成
    • 端到端问题生成（无需答案监督）
  • 微调
    • 数据处理
    • 训练
    • 评估
  • 应用 🚀
  • 相关论文

项目详情

问题生成是从一段文本中自动生成问题的任务。最直接的方法是基于答案的问题生成。在这种方法中，模型会接收答案和段落，并根据段落上下文为该答案生成一个问题。尽管关于问题生成任务已有许多研究论文，但它仍然不如问答任务那样主流。原因之一是早期的大多数研究都采用了复杂的模型或处理流程，且没有现成的预训练模型可用。近年来，一些论文，特别是 UniLM 和 ProphetNet，提供了 SOTA 的预训练权重用于问题生成，但其使用方式似乎相当复杂。

本项目旨在通过开源的方式，利用预训练的 Transformer 模型（特别是序列到序列模型），以简单直观的端到端方法进行问题生成研究，避免复杂的流水线。目标是提供简化的数据处理和训练脚本，以及易于使用的推理流程。

初步实验

初步实验使用 SQuADv1 数据集和 T5 模型进行，输入处理格式如下面所述。

基于答案的问题生成

对于基于答案的模型，输入文本可以有两种处理方式。

1. 前缀格式：

在这种格式中，答案直接添加到上下文之前，并用分隔符 token 分隔。例如：

42 [SEP] 42 是生命、宇宙以及一切的答案。

对于 T5 模型，输入会被处理成这样：

answer: 42 context: 42 是生命、宇宙以及一切的答案。

2. 高亮格式

在这种格式中，答案片段会在文本中用特殊的高亮 token 标记出来。

《hl》 42 《hl》 是生命、宇宙以及一切的答案。

这一想法在“一种基于循环 BERT 的问题生成模型”论文中提出。参见第 4.3 节。

答案抽取模型

由于基于答案的模型需要答案才能生成问题，因此我们需要一个能够从文本中提取答案片段的模型。这可以通过多种方法实现，比如命名实体识别、名词短语抽取等。但在这里，我们训练了一个专门用于提取答案片段的模型，以观察其效果。对于 T5 模型，答案抽取是通过文本到格式转换来完成的。

由于高亮格式需要知道提取出的答案片段的位置，因此答案抽取的输入处理如下：

1. 将文本按句子分割。
2. 对于包含答案的句子，用 <hl> token 高亮标记该句子。
3. 对于目标文本，将该句子中的所有答案用 <sep> token 连接起来。

例如，对于以下文本：

Python 是一种编程语言。由 Guido van Rossum 创建，于 1991 年首次发布。

将会生成如下示例：

输入文本： 《hl》 Python 是一种编程语言。《hl》 由 Guido van Rossum 创建，于 1991 年首次发布。

目标文本： Python <sep>

以及

输入文本： Python 是一种编程语言。《hl》 由 Guido van Rossum 创建，于 1991 年首次发布《hl》。

目标文本： Guido van Rossum <sep> 1991 <sep>

在推理时，文本会被分割成句子，并对每个句子进行高亮标记。

多任务问答-问题生成

对于基于答案的问题生成，通常需要三个模型：第一个模型用于提取答案片段，第二个模型根据答案生成问题，第三个模型则是问答模型，它会接收问题并给出答案。然后我们可以比较这两个答案，以判断生成的问题是否正确。

为一个任务同时使用三个模型会带来很大的复杂性，因此我们的目标是创建一个多任务模型，使其能够同时完成以下三项任务：

1. 提取答案片段
2. 根据答案生成问题
3. 问答

T5 模型通过使用论文中描述的任务前缀，以多任务方式进行了微调。

端到端问题生成（无需答案监督）

在端到端问题生成中，模型被要求在不提供答案的情况下生成问题。这篇论文更详细地讨论了这一思路。在这里，T5 模型被训练为仅根据上下文同时生成多个问题，问题之间用 <sep> token 分隔。以下是示例的处理方式：

输入文本：Python 是一种编程语言。由 Guido van Rossum 创建，于 1991 年首次发布。

目标文本：谁创造了 Python？<sep> Python 是什么时候发布的？<sep>

所有训练细节都可以在 这个 wandb 项目中找到

结果

使用上述方法在 SQuAD1.0 验证集上的结果。解码时采用束搜索，束宽为 4，最大解码长度设为 32。

对于多任务问答-问题生成模型，EM 和 F1 分数分别以 QA-EM 和 QA-F1 的形式给出。

使用 nlg-eval 包来计算各项指标。

名称	BLEU-4	METEOR	ROUGE-L	QA-EM	QA-F1	QG-FORMAT
t5-base-qg-hl	21.3226	27.0854	43.5962	-	-	highlight
t5-base-qa-qg-hl	21.0141	26.9113	43.2484	82.46	90.272	highlight
t5-small-qa-qg-hl	18.9872	25.2217	40.7893	76.121	84.904	highlight
t5-small-qg-hl	18.5921	24.9915	40.1886	-	-	highlight
t5-small-qg-prepend	18.2791	24.6722	39.958	-	-	prepend

要求

transformers==3.0.0
nltk
nlp==0.2.0 # 仅在需要微调时使用。

安装 nltk 后，请执行以下命令：

python -m nltk.downloader punkt

使用方法

使用模仿 🤗transformers 流水线的管道，以便于推理。

该管道分为 3 个任务：

1. question-generation：用于单任务问题生成模型。
2. multitask-qa-qg：用于多任务问答和问题生成模型。
3. e2e-qg：用于端到端问题生成。

问题生成

from pipelines import pipeline

nlp = pipeline("question-generation")
nlp("42 是生命、宇宙以及一切的答案。")
=> [{'answer': '42', 'question': '生命、宇宙以及一切的答案是什么？'}]

prepend 格式

nlp = pipeline("question-generation", model="valhalla/t5-small-qg-prepend", qg_format="prepend")
nlp("42 是生命、宇宙以及一切的答案。")
=> [{'answer': '42 ', 'question': '生命、宇宙以及一切的答案是什么？'}]

多任务问答-问题生成

nlp = pipeline("multitask-qa-qg")

# 要生成问题，只需传递文本即可
nlp("42 是生命、宇宙以及一切的答案。")
=> [{'answer': '42', 'question': '生命、宇宙以及一切的答案是什么？'}]

# 对于问答任务，传递包含 "question" 和 "context" 的字典
nlp({
    "question": "42 是什么？",
    "context": "42 是生命、宇宙以及一切的答案。"
})
=> '生命、宇宙以及一切的答案'

端到端问题生成（无需答案监督）

nlp = pipeline("e2e-qg")
nlp("Python 是一种编程语言。由 Guido van Rossum 创建，于 1991 年首次发布。")
=> [
    '什么是编程语言？',
    '谁创建了 Python？',
    'Python 是何时首次发布的？'
]

默认情况下，两个管道都会使用 t5-small* 模型。若要使用其他模型，可通过 model 参数指定路径。

默认情况下，question-generation 管道会下载 valhalla/t5-small-qg-hl 模型，并采用 highlight 问题生成格式。如果希望使用 prepend 格式，则需提供 prepend 模型的路径，并将 qg_format 设置为 "prepend"。对于提取答案跨度的任务，它会使用 valhalla/t5-small-qa-qg-hl 模型；您可以通过 ans_model 参数指定不同的模型。

multitask-qa-qg 模型适用于能够同时提取答案跨度、进行问题生成和问答的多任务模型，因此不需要单独的 ans_model。默认情况下，使用的是 valhalla/t5-small-qa-qg-hl 模型，并采用 highlight 格式。如果希望使用 prepend 格式，则需提供 prepend 模型的路径，并将 qg_format 设置为 "prepend"。

e2e-qg 管道用于端到端问题生成。这些模型可以在没有答案监督的情况下同时生成多个问题。默认情况下，它使用 valhalla/t5-small-e2e-qg 模型。

微调

数据处理

为了支持不同的数据格式，训练器期望使用预处理过的缓存数据集，这样你可以按照自己的方式处理数据。缓存的数据集应该使用 torch.save 保存，并且在 __getitem__ 方法中返回一个包含 source_ids、target_ids 和 attention_mask 键的字典。

• source_ids: 编码后的源文本
• target_ids: 编码后的目标文本
• attention_mask: source_ids 的注意力掩码

T2TDataCollator 负责准备正确的 input_ids 和 labels。它还会动态裁剪批次以去除多余的填充标记，从而加快训练速度。

data/squad_multitask 目录下包含了经过修改的 SQuAD 数据集，用于答案感知型问题生成（同时使用 prepend 和 highlight 格式）、问答（文本到文本）、答案抽取以及端到端的问题生成。这个数据集可以使用优秀的 🤗nlp 库加载，这使得数据处理变得非常容易。

要处理并缓存数据集，请使用 prepare_data.py 脚本。它会根据 model_type 参数加载正确的分词器。该脚本会在分词器中添加两个新标记 <sep> 和 <hl>, 并将其保存到 {model_type}_qg_tokenizer 路径。你应该将此分词器传递给微调脚本。

数据集将被保存在 data/ 目录下。你需要通过 train_file_name 和 valid_file_name 参数提供文件名。

为单任务问题生成处理数据，使用 highlight_qg_format 格式

python prepare_data.py \
    --task qg \
    --model_type t5 \
    --dataset_path data/squad_multitask/ \
    --qg_format highlight_qg_format \
    --max_source_length 512 \
    --max_target_length 32 \
    --train_file_name train_data_qg_hl_t5.pt \
    --valid_file_name valid_data_qg_hl_t5.pt \

为多任务 qa-qg 处理数据，使用 highlight_qg_format 格式

valid_for_qg_only 参数用于决定验证集是否只包含 qg 任务的数据。在我的多任务实验中，我使用了仅包含 qg 任务的验证数据，以便于将评估损失曲线与其他单任务模型进行比较。

python prepare_data.py \
    --task multi \
    --valid_for_qg_only \ 
    --model_type t5 \
    --dataset_path data/squad_multitask/ \
    --qg_format highlight_qg_format \
    --max_source_length 512 \
    --max_target_length 32 \
    --train_file_name train_data_qa_qg_hl_t5.pt \
    --valid_file_name valid_data_qg_hl_t5.pt \

为端到端问题生成处理数据集

python prepare_data.py \
    --task e2e_qg \
    --valid_for_qg_only \ 
    --model_type t5 \
    --dataset_path data/squad_multitask/ \
    --qg_format highlight_qg_format \
    --max_source_length 512 \
    --max_target_length 32 \
    --train_file_name train_data_e2e_qg_t5.pt \
    --valid_file_name valid_data_e2e_qg_t5.pt \

训练

使用 run_qg.py 脚本来开始训练。它使用 transformers 的 Trainer 类来训练模型。

python run_qg.py \
    --model_name_or_path t5-small \
    --model_type t5 \
    --tokenizer_name_or_path t5_qg_tokenizer \
    --output_dir t5-small-qg-hl \
    --train_file_path data/train_data_qg_hl_t5.pt \
    --valid_file_path data/valid_data_qg_hl_t5.pt \
    --per_device_train_batch_size 32 \
    --per_device_eval_batch_size 32 \
    --gradient_accumulation_steps 8 \
    --learning_rate 1e-4 \
    --num_train_epochs 10 \
    --seed 42 \
    --do_train \
    --do_eval \
    --evaluate_during_training \
    --logging_steps 100

或者，如果你想从脚本或笔记本中直接训练，可以这样做：

from run_qg import run_qg

args_dict = {
    "model_name_or_path": "t5-small",
    "model_type": "t5",
    "tokenizer_name_or_path": "t5_qg_tokenizer",
    "output_dir": "t5-small-qg-hl",
    "train_file_path": "data/train_data_qg_hl_t5.pt",
    "valid_file_path": "data/valid_data_qg_hl_t5.pt",
    "per_device_train_batch_size": 32,
    "per_device_eval_batch_size": 32,
    "gradient_accumulation_steps": 8,
    "learning_rate": 1e-4,
    "num_train_epochs": 10,
    "seed": 42,
    "do_train": True,
    "do_eval": True,
    "evaluate_during_training": True,
    "logging_steps": 100
}

# 开始训练
run_qg(args_dict)

评估

使用 eval.py 脚本来评估模型。

python eval.py \
    --model_name_or_path t5-base-qg-hl \
    --valid_file_path valid_data_qg_hl_t5.pt \
    --model_type t5 \
    --num_beams 4 \
    --max_decoding_length 32 \
    --output_path hypothesis_t5-base-qg-hl.txt

这会将输出保存到 {output_path} 文件中。

要计算指标，安装 nlg-eval 包并运行：

nlg-eval --hypothesis=hypothesis_t5-base-qg-hl.txt --references=data/references.txt --no-skipthoughts --no-glove 

应用场景 🚀

1. 一个关于你选择主题的简单知识问答游戏 -
   Medium 文章及其 Colab 笔记本
2. Autocards，通过机器生成的抽认卡加速学习

相关论文

• https://arxiv.org/abs/1906.05416
• https://www.aclweb.org/anthology/D19-5821/
• https://arxiv.org/abs/2005.01107v1

Question Generation 快速上手指南

环境准备

系统要求
Python 3.6+

前置依赖

pip install transformers==3.0.0 nltk nlp==0.2.0

建议使用国内镜像加速安装（可选）：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple transformers==3.0.0 nltk nlp==0.2.0

NLP数据下载

python -m nltk.downloader punkt

---

安装步骤

1. 安装依赖库

   pip install transformers==3.0.0 nltk nlp==0.2.0
   

2. 下载NLTK资源

   python -m nltk.downloader punkt
   

---

基本使用

1. 问答生成（需答案输入）

from pipelines import pipeline

nlp = pipeline("question-generation")
result = nlp("42 is the answer to life, the universe and everything.")
print(result)
# 输出: [{'answer': '42', 'question': 'What is the answer to life, the universe and everything?'}]

2. 多任务处理（问答+生成）

nlp = pipeline("multitask-qa-qg")
# 生成问题
print(nlp("42 is the answer to life, the universe and everything."))
# 回答问题
print(nlp({"question": "What is 42?", "context": "42 is the answer to life, the universe and everything."}))

3. 端到端生成（无需答案）

nlp = pipeline("e2e-qg")
print(nlp("Python is a programming language. Created by Guido van Rossum and first released in 1991."))
# 输出: ['What is a programming language?', 'Who created Python?', 'When was Python first released?']