UnifiedSKG:书籍:: 使用文本到文本语言模型统一和多任务结构化知识接地

这是EMNLP 2022（口头报告）论文UnifiedSKG：使用文本到文本语言模型统一和多任务结构化知识接地的代码。请访问我们的项目页面以获取最新的相关资源（例如论文、代码、工具、教程），用于结构化知识接地。您可以从HuggingFace Model Hub加载我们的检查点。

Structured knowledge grounding (SKG) 利用结构化知识来完成用户请求，例如对数据库进行语义解析以及对知识库进行问答。由于SKG任务的输入和输出是异构的，因此历史上一直由不同的研究群体分别研究，这限制了关于SKG的系统性和兼容性研究。在本文中，我们通过提出UnifiedSKG框架克服了这一局限性，该框架将21个SKG任务统一为文本到文本的形式，旨在推动系统的SKG研究，而不是局限于单一任务、领域或数据集。我们证明，像T5这样的大型语言模型，在必要时经过简单修改，可以在几乎所有的21项任务上达到最先进的性能。UnifiedSKG促进了多任务学习。我们发现，多任务前缀调优对大多数任务都有益处，大大提升了整体性能。UnifiedSKG还是一个具有挑战性的零样本和少样本学习测试平台，而T0、GPT-3和Codex在这方面表现不佳。此外，UnifiedSKG还允许在不同SKG任务中对结构化知识编码的不同变体进行一系列受控实验。我们发现，T5对结构化知识编码变化的敏感性因任务而异。

UnifiedSKG 具有良好的可扩展性。我们非常欢迎您的拉取请求，以向UnifiedSKG添加数据集、设置、指标、模型以及新功能！

更新

• 2022-03-12：如果您不想使用我们框架中的HuggingFace加载器，而是想自己尝试，可以查看UnifiedSKG为您处理好的seq2seq数据这里。
• 2022-01-12：我们发布了我们的代码、Colab演示、权重和项目页面。快来看看吧！

内容

• UnifiedSKG：使用文本到文本语言模型统一和多任务Structured Knowledge Grounding
  • 克隆此仓库
  • 依赖项
  • 使用方法
    • 环境设置
    • WandB设置
    • 训练
    • 加载权重
  • 各目录简介
    • configure
    • metrics
    • models
    • seq2seq_construction
    • third_party
    • utils
  • UnifiedSKG的代码结构概述
  • 向UnifiedSKG添加新任务
  • 杂项
  • 贡献者

克隆此仓库

为了包含此仓库中的第三方依赖项，请确保以递归方式克隆，例如：

git clone --recurse-submodules git@github.com:HKUNLP/UnifiedSKG.git

参考文献

要建立环境，请在终端中运行以下命令（第三行适用于CUDA11.1）：

conda env create -f py3.7pytorch1.8.yaml
conda activate py3.7pytorch1.8new
pip install datasets==1.14.0
# 根据您的CUDA版本替换以下行。
pip install torch==1.8.0+cu111 torchvision==0.9.0+cu111 torchaudio==0.8.0 -f https://download.pytorch.org/whl/torch_stable.html

这将创建我们使用的环境py3.7pytorch1.8new。

使用方法

环境设置

通过运行以下命令激活环境：

conda activate py3.7pytorch1.8new

WandB设置

设置WandB进行日志记录（需注册）：

export WANDB_API_KEY=YOUR_WANDB_API_KEY
export WANDB_PROJECT=YOUR_PROJECT_NAME
export WANDB_ENTITY=YOUR_TEAM_NAME

训练

T5-base 在 WikiTQ 上的微调（4 张 GPU，有效批次大小 128）

python -m torch.distributed.launch --nproc_per_node 4 --master_port 1234 train.py --seed 2 --cfg Salesforce/T5_base_finetune_wikitq.cfg --run_name T5_base_finetune_wikitq --logging_strategy steps --logging_first_step true --logging_steps 4 --evaluation_strategy steps --eval_steps 500 --metric_for_best_model avr --greater_is_better true --save_strategy steps --save_steps 500 --save_total_limit 1 --load_best_model_at_end --gradient_accumulation_steps 8 --num_train_epochs 400 --adafactor true --learning_rate 5e-5 --do_train --do_eval --do_predict --predict_with_generate --output_dir output/T5_base_finetune_wikitq --overwrite_output_dir --per_device_train_batch_size 4 --per_device_eval_batch_size 16 --generation_num_beams 4 --generation_max_length 128 --input_max_length 1024 --ddp_find_unused_parameters true

如果你想恢复训练，只需从上述命令中移除 --overwrite_output_dir 标志：

python -m torch.distributed.launch --nproc_per_node 4 --master_port 1234 train.py --seed 2 --cfg Salesforce/T5_base_finetune_wikitq.cfg --run_name T5_base_finetune_wikitq --logging_strategy steps --logging_first_step true --logging_steps 4 --evaluation_strategy steps --eval_steps 500 --metric_for_best_model avr --greater_is_better true --save_strategy steps --save_steps 500 --save_total_limit 1 --load_best_model_at_end --gradient_accumulation_steps 8 --num_train_epochs 400 --adafactor true --learning_rate 5e-5 --do_train --do_eval --do_predict --predict_with_generate --output_dir output/T5_base_finetune_wikitq --per_device_train_batch_size 4 --per_device_eval_batch_size 16 --generation_num_beams 4 --generation_max_length 128 --input_max_length 1024 --ddp_find_unused_parameters true

T5-base 在 WikiTQ 上的前缀微调（4 张 GPU，有效批次大小 128）

python -m torch.distributed.launch --nproc_per_node 4 --master_port 1234 train.py --seed 2 --cfg Salesforce/T5_base_prefix_wikitq.cfg --run_name T5_base_prefix_wikitq --logging_strategy steps --logging_first_step true --logging_steps 4 --evaluation_strategy steps --eval_steps 500 --metric_for_best_model avr --greater_is_better true --save_strategy steps --save_steps 500 --save_total_limit 1 --load_best_model_at_end --gradient_accumulation_steps 8 --num_train_epochs 400 --adafactor true --learning_rate 5e-5 --do_train --do_eval --do_predict --predict_with_generate --output_dir output/T5_base_prefix_wikitq --overwrite_output_dir --per_device_train_batch_size 4 --per_device_eval_batch_size 16 --generation_num_beams 4 --generation_max_length 128 --input_max_length 1024 --ddp_find_unused_parameters true

T5-3b 在 WikiTQ 上的微调（8 张 GPU，有效批次大小 128）

deepspeed train.py --deepspeed deepspeed/ds_config_zero2.json --seed 2 --cfg Salesforce/T5_3b_finetune_wikitq.cfg --run_name T5_3b_finetune_wikitq --logging_strategy steps --logging_first_step true --logging_steps 4 --evaluation_strategy steps --eval_steps 500 --metric_for_best_model avr --greater_is_better true --save_strategy steps --save_steps 500 --save_total_limit 1 --load_best_model_at_end --gradient_accumulation_steps 16 --num_train_epochs 50 --adafactor false --learning_rate 5e-5 --do_train --do_eval --do_predict --predict_with_generate --output_dir output/T5_3b_finetune_wikitq --overwrite_output_dir --per_device_train_batch_size 1 --per_device_eval_batch_size 1 --generation_num_beams 4 --generation_max_length 128 --input_max_length 1024 --ddp_find_unused_parameters true

加载权重

请参阅

UnifiedSKG 的代码结构概览

.
├── configure                              # 用于实验、任务和设置的配置文件
│   ├── META_TUNING                        # 任务和设置的配置文件
│   └── Salesforce                         # 实验的配置文件（见杂项）
│
├── metrics                                # 评估相关代码
│   └── ...                                # 请查看 ./seq2seq_construction 目录下的 README。
├── models                                 # 模型相关代码
│   ├── adapter                            # 基于 HuggingFace Transformers 的带有适配器的 T5 和 BART 模型代码
│   ├── prompt                             # 基于 HuggingFace Transformers 的带有前缀调优的 T5 和 BART 模型代码
│   └── unified
│           ├── base.py                    # 使任意模型能够推送到 HuggingFace Model Hub 的基础模型代码（即 PushToHubFriendlyModel）
│           ├── finetune.py                # 微调相关代码
│           ├── adaptertuning.py           # 适配器调优相关代码
│           ├── prefixtuning.py            # 前缀调优相关代码
│           └── combined_prefixtuning.py   # 组合前缀调优相关代码（未在我们的论文中使用，见杂项）
│
├── seq2seq_construction                   # 将原始数据转换为序列的代码
│    └──  ...                              # 请查看该目录下的 README。
│
├── tasks                                  # 加载原始数据的代码
│    └──  ...                              # 请查看该目录下的 README。
│
├── third_party                            # 第三方库
│    └──  ...                              # 请查看该目录下的 README。
│
├── utils                                  # 一些（可能）有用的工具代码
│       ├── processor                      # 引用自 Tapex：处理表格截断和线性化的处理器
        │        └──  ...
│       ├── configure.py                   # 解析 ./configure 目录下配置文件的代码
│       ├── dataset.py                     # 将输入和输出序列转换为训练用数据集的代码
│       ├── tool.py                        # 加载模型、seq2seq 构造器和评估器的代码
│       ├── trainer.py                     # EvaluationFriendlyTrainer 的代码。如果需要对训练进行特定修改，可以在此处调整。
│       └── training_arguments.py          # seq2seq 训练参数的代码
│
├── .gitignore                 
├── .gitmodules                    
├── py3.7pytorch1.8.yaml                   # Anaconda 环境配置文件
├── README.md                              # 你正在阅读的 README 文件 :)
└── train.py                               # 入口代码，负责控制训练、评估、测试、存储和日志记录

在 UnifiedSKG 中添加新任务

（./tasks、./seq2seq_construction、./metrics、./configure 目录下的 README 也可能有所帮助）

1. 在 ./tasks 下添加一个原始数据加载器。你可以搜索 HuggingFace Datasets 查找可能有用的脚本。如果没有，你也可以为该项目和 HuggingFace 社区做出贡献。
2. 在 ./seq2seq_construction 下添加一个“序列包装器”，用于从原始数据中构建统一的序列输入（用户请求和结构化知识）和序列输出。
3. 在 ./metrics 下为你的任务添加一个“评估器”。如果使用了第三方库，请记得将其添加到 .gitmodules 中。
4. (可选) 你可以在 ./models 下添加一个新的“模型”，以支持新的模型架构或新的学习算法。
5. 在 ./configure/META_TUNING 下为你的任务添加一个配置文件。
6. 在 ./configure/Salesforce 下为你的每个实验添加一个配置文件。

杂项

• 我们将实验配置文件的目录命名为 Salesforce，是因为我们要感谢 Salesforce Research 提供了大量的 GPU 资源。我们还要感谢 Amazon Research Awards、ServiceNow Research 和 Yale NLP 慷慨地提供了计算资源。
• ./models/unified/combined_prefixtuning.py 并未在我们的论文中使用。该文件包含在一个训练循环中多个前缀之间“交互”的代码。我们尝试过多种此类交互方式，但没有发现任何一种能超越我们论文中采用的（极其简单）基于迁移学习的方法。不过，我们将这些失败的尝试开源，并呼吁未来的研究者继续探索。

就到这里啦 :D

引用

如果你觉得我们的工作对你有帮助，请按以下格式引用：

@article{UnifiedSKG,
      title={UnifiedSKG: Unifying and Multi-Tasking Structured Knowledge Grounding with Text-to-Text Language Models}, 
      author={Tianbao Xie and Chen Henry Wu and Peng Shi and Ruiqi Zhong and Torsten Scholak and Michihiro Yasunaga and Chien-Sheng Wu and Ming Zhong and Pengcheng Yin and Sida I. Wang and Victor Zhong and Bailin Wang and Chengzu Li and Connor Boyle and Ansong Ni and Ziyu Yao and Dragomir Radev and Caiming Xiong and Lingpeng Kong and Rui Zhang and Noah A. Smith and Luke Zettlemoyer and Tao Yu},
      journal={EMNLP},
      year={2022},
}

贡献者

UnifiedSKG 快速上手指南

UnifiedSKG 是一个基于 Text-to-Text 语言模型的统一框架，旨在将 21 种结构化知识接地（SKG）任务（如语义解析、知识库问答等）统一为文本生成格式，支持多任务学习和少样本/零样本学习。

环境准备

• 操作系统: Linux (推荐)
• Python 版本: 3.7
• 深度学习框架: PyTorch 1.8.0
• CUDA 版本: 推荐 11.1 (需根据实际显卡驱动调整)
• 硬件要求: 训练建议使用多 GPU 环境；推理可使用单 GPU 或 CPU。

安装步骤

1. 克隆仓库

由于项目包含第三方子模块，请务必使用 --recurse-submodules 参数进行克隆：

git clone --recurse-submodules git@github.com:HKUNLP/UnifiedSKG.git
cd UnifiedSKG

2. 创建 Conda 环境

使用项目提供的配置文件创建环境：

conda env create -f py3.7pytorch1.8.yaml
conda activate py3.7pytorch1.8new

3. 安装依赖

安装 datasets 库及对应 CUDA 版本的 PyTorch（以下命令针对 CUDA 11.1，其他版本请自行替换）：

pip install datasets==1.14.0
pip install torch==1.8.0+cu111 torchvision==0.9.0+cu111 torchaudio==0.8.0 -f https://download.pytorch.org/whl/torch_stable.html

国内加速提示：如果下载速度慢，建议在 pip 命令后添加 -i https://pypi.tuna.tsinghua.edu.cn/simple 使用清华镜像源。PyTorch 官方源若连接困难，可尝试寻找国内维护的 wheel 包镜像。

4. 配置 WandB (可选但推荐)

用于记录训练日志，需先在 WandB 注册账号并获取 API Key：

export WANDB_API_KEY=YOUR_WANDB_API_KEY
export WANDB_PROJECT=YOUR_PROJECT_NAME
export WANDB_ENTITY=YOUR_TEAM_NAME

基本使用

加载预训练模型进行推理

最简便的方式是通过 Google Colab 直接体验或加载 HuggingFace 上的权重。

方式一：使用 Colab 演示 点击以下链接直接在浏览器中运行示例，无需本地配置环境： Open In Colab

方式二：本地加载权重 模型权重已托管在 HuggingFace Model Hub (hkunlp)。你可以在代码中直接通过 transformers 库加载：

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

model_name = "hkunlp/unifiedskg-t5-base" # 示例模型名称，具体请参考 HF 页面
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)

input_text = "translate English to SQL: How many employees are there?"
inputs = tokenizer(input_text, return_tensors="pt")

outputs = model.generate(**inputs)
result = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(result)

训练示例

以下是在 WikiTQ 数据集上使用 4 张 GPU 对 T5-base 进行微调的命令示例：

python -m torch.distributed.launch --nproc_per_node 4 --master_port 1234 train.py --seed 2 --cfg Salesforce/T5_base_finetune_wikitq.cfg --run_name T5_base_finetune_wikitq --logging_strategy steps --logging_first_step true --logging_steps 4 --evaluation_strategy steps --eval_steps 500 --metric_for_best_model avr --greater_is_better true --save_strategy steps --save_steps 500 --save_total_limit 1 --load_best_model_at_end --gradient_accumulation_steps 8 --num_train_epochs 400 --adafactor true --learning_rate 5e-5 --do_train --do_eval --do_predict --predict_with_generate --output_dir output/T5_base_finetune_wikitq --overwrite_output_dir --per_device_train_batch_size 4 --per_device_eval_batch_size 16 --generation_num_beams 4 --generation_max_length 128 --input_max_length 1024 --ddp_find_unused_parameters true

如需断点续训，请移除上述命令中的 --overwrite_output_dir 标志。