HMTL（层次化多任务学习模型）

***** 新闻：2018年11月20日，线上Web演示已发布 *****

我们发布了一个在线演示（以及预训练权重），方便大家亲自体验该模型。Web界面的代码也已在demo文件夹中提供。

要下载预训练模型，请先安装git lfs，然后执行git lfs pull命令。模型权重将保存在model_dumps文件夹中。

从语义任务中学习嵌入的层次化多任务方法
Victor SANH, Thomas WOLF, Sebastian RUDER
被AAAI 2019接收

关于

HMTL是一种层次化多任务学习模型，它结合了四类精心挑选的语义任务——命名实体识别、实体提及检测、关系抽取和共指消解。该模型在命名实体识别、实体提及检测和关系抽取任务上均取得了当前最优性能。借助SentEval，我们发现，随着网络层数由下至上增加，模型所学习到的语义表示也逐渐变得更加复杂。

更多实验结果详情，请参阅我们的论文。

我们公开了HMTL的_训练_、_微调_和_评估_代码。希望这些代码能对构建您自己的多任务模型（无论是否为层次化结构）有所帮助。代码采用__Python__编写，并基于__PyTorch__框架。

依赖与安装

主要依赖包括：

• AllenNLP
• PyTorch
• SentEval（仅用于评估嵌入）

代码支持__Python 3.6__运行。稳定的依赖版本列表见requirements.txt文件。

您可以通过运行脚本./script/machine_setup.sh快速搭建工作环境。该脚本会安装Python 3.6，创建一个干净的虚拟环境，并安装所有必需的依赖包（列于requirements.txt）。请根据您的需求调整该脚本。

使用示例

我们的实现基于AllenNLP库。如需了解该库的使用方法，请参考这些教程。

实验配置以_json_格式的配置文件定义（示例见configs/*.json）。配置文件主要描述需要加载的数据集、要构建的模型及其所有超参数。

当您完成配置文件的设置（并根据需要定义自定义类，如DatasetReaders）后，即可通过以下命令和参数启动训练：

python train.py --config_file_path configs/hmtl_coref_conll.json --serialization_dir my_first_training

训练开始后，您可以在终端中实时查看训练进度，或启动TensorBoard进行可视化（请确保已安装TensorBoard及其TensorFlow依赖）：

tensorboard --logdir my_first_training/log

使用SentEval评估嵌入

我们利用SentEval来评估模型所学习的语言学特性。hmtl_senteval.py展示了如何在SentEval与HMTL之间建立接口。该脚本会评估层次结构中每一层所学习的语言学特性（共享的词嵌入和编码器）。

数据

要下载我们在HMTL中使用的预训练嵌入，只需运行脚本./script/data_setup.sh即可。

出于许可协议限制，我们未附带用于训练HMTL的数据集，但欢迎您自行收集：OntoNotes 5.0、CoNLL2003以及ACE2005。配置文件要求数据集放置在data/文件夹中。

参考文献

如果您认为本仓库对您有帮助，请考虑引用以下论文：

@article{sanh2018hmtl,
  title={A Hierarchical Multi-task Approach for Learning Embeddings from Semantic Tasks},
  author={Sanh, Victor and Wolf, Thomas and Ruder, Sebastian},
  journal={arXiv preprint arXiv:1811.06031},
  year={2018}
}

HMTL 快速上手指南

HMTL (Hierarchical Multi-Task Learning) 是一个基于 PyTorch 和 AllenNLP 的分层多任务学习模型，旨在通过命名实体识别、关系抽取等语义任务学习高质量的文本嵌入表示。

环境准备

• 操作系统: Linux / macOS (Windows 需自行配置兼容环境)
• Python 版本: 3.6 (官方推荐稳定版本)
• 核心依赖:
  • PyTorch
  • AllenNLP
  • SentEval (仅用于评估嵌入质量)
  • Git LFS (用于下载预训练权重)

提示：国内开发者建议在安装 Python 包时使用清华或阿里镜像源以加速下载。

安装步骤

1. 克隆代码库并安装 Git LFS

首先确保已安装 git lfs，然后拉取包含预训练权重的完整代码库。

git lfs install
git clone https://github.com/huggingface/hmtl.git
cd hmtl
git lfs pull

执行 git lfs pull 后，预训练模型权重将自动保存至 model_dumps 文件夹。

2. 配置运行环境

项目提供了自动化脚本 machine_setup.sh 用于快速搭建环境（安装 Python 3.6、创建虚拟环境并安装依赖）。

# 赋予执行权限并运行 setup 脚本
chmod +x ./script/machine_setup.sh
./script/machine_setup.sh

注意：该脚本会创建独立的虚拟环境。如果您希望手动安装，可激活虚拟环境后执行 pip install -r requirements.txt。

3. 数据准备

运行数据设置脚本下载预训练所需的嵌入文件：

chmod +x ./script/data_setup.sh
./script/data_setup.sh

关于训练数据集：由于版权许可原因，仓库未直接提供训练数据集（OntoNotes 5.0, CoNLL2003, ACE2005）。如需从头训练，请自行下载上述数据集并放置于 data/ 目录下，确保目录结构与配置文件要求一致。

基本使用

HMTL 基于 AllenNLP 构建，通过 JSON 配置文件定义实验参数（数据集、模型结构、超参数等）。

1. 启动训练

使用提供的配置文件启动训练任务。以下示例使用共指消解（Coreference）配置：

python train.py --config_file_path configs/hmtl_coref_conll.json --serialization_dir my_first_training

• --config_file_path: 指定配置文件路径（参考 configs/ 目录下的其他示例）。
• --serialization_dir: 指定模型输出和日志保存目录。

2. 监控训练过程

训练开始后，可在终端查看实时日志，或使用 TensorBoard 可视化监控：

tensorboard --logdir my_first_training/log

(请确保已安装 tensorboard 及其 tensorflow 依赖)

3. 评估嵌入质量 (可选)

若需评估模型各层学习到的语言属性，可使用 hmtl_senteval.py 结合 SentEval 进行测试：

python hmtl_senteval.py