JointBERT

JointBERT 的非官方 PyTorch 实现：用于联合意图分类和槽位填充的 BERT

模型架构

• 从 一个 BERT 模型 中同时预测 意图 和 槽位（即联合模型）
• total_loss = intent_loss + coef * slot_loss（可通过 --slot_loss_coef 选项调整系数）
• 若需使用 CRF 层，请添加 --use_crf 选项

依赖项

• python>=3.6
• torch==1.6.0
• transformers==3.0.2
• seqeval==0.0.12
• pytorch-crf==0.7.2

数据集

	训练集	验证集	测试集	意图标签数	槽位标签数
ATIS	4,478	500	893	21	120
Snips	13,084	700	700	7	72

• 标签数量基于 训练集。
• 为标签添加 UNK（适用于仅在 验证集 和 测试集 中出现的意图和槽位标签）。
• 为槽位标签添加 PAD。

训练与评估

$ python3 main.py --task {task_name} \
                  --model_type {model_type} \
                  --model_dir {model_dir_name} \
                  --do_train --do_eval \
                  --use_crf

# 对于 ATIS
$ python3 main.py --task atis \
                  --model_type bert \
                  --model_dir atis_model \
                  --do_train --do_eval
# 对于 Snips
$ python3 main.py --task snips \
                  --model_type bert \
                  --model_dir snips_model \
                  --do_train --do_eval

预测

$ python3 predict.py --input_file {INPUT_FILE_PATH} --output_file {OUTPUT_FILE_PATH} --model_dir {SAVED_CKPT_PATH}

结果

• 运行 5 ~ 10 个 epoch（记录最佳结果）
• 仅使用 uncased 模型进行测试
• ALBERT xxlarge 在槽位预测上有时难以收敛。

		意图准确率 (%)	槽位 F1 分 (%)	句子级准确率 (%)
Snips	BERT	99.14	96.90	93.00
	BERT + CRF	98.57	97.24	93.57
	DistilBERT	98.00	96.10	91.00
	DistilBERT + CRF	98.57	96.46	91.85
	ALBERT	98.43	97.16	93.29
	ALBERT + CRF	99.00	96.55	92.57
ATIS	BERT	97.87	95.59	88.24
	BERT + CRF	97.98	95.93	88.58
	DistilBERT	97.76	95.50	87.68
	DistilBERT + CRF	97.65	95.89	88.24
	ALBERT	97.64	95.78	88.13
	ALBERT + CRF	97.42	96.32	88.69

更新日志

• 2019/12/03：新增 DistilBert 和 RoBERTa 的结果
• 2019/12/14：新增 Albert (large v1) 的结果
• 2019/12/22：支持句子级别的预测
• 2019/12/26：新增 Albert (xxlarge v1) 的结果
• 2019/12/29：增加 CRF 选项
• 2019/12/30：可检查 句子级别的语义框架准确率
• 2020/01/23：仅展示与 uncased 模型相关的结果
• 2020/04/03：更新了新的预测代码

参考文献

• Huggingface Transformers
• pytorch-crf

JointBERT 快速上手指南

JointBERT 是一个基于 PyTorch 的非官方实现，用于同时执行**意图识别（Intent Classification）和槽位填充（Slot Filling）**任务。该模型基于 BERT 架构，支持 ATIS 和 Snips 等主流数据集，并可选配 CRF 层以提升槽位预测效果。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux / macOS / Windows
• Python 版本：>= 3.6
• 核心依赖：
  • torch == 1.6.0
  • transformers == 3.0.2
  • seqeval == 0.0.12
  • pytorch-crf == 0.7.2

国内加速建议：安装依赖时推荐使用清华或阿里镜像源，以提升下载速度。

安装步骤

1. 克隆项目代码（假设已获取源码）：

   git clone <repository_url>
   cd <project_directory>
   

2. 安装 Python 依赖包（推荐使用国内镜像）：

   pip install torch==1.6.0 transformers==3.0.2 seqeval==0.0.12 pytorch-crf==0.7.2 -i https://pypi.tuna.tsinghua.edu.cn/simple
   

基本使用

1. 训练与评估

以下命令展示了如何在 ATIS 和 Snips 数据集上训练模型。默认使用 BERT 基础模型，若需启用 CRF 层，请添加 --use_crf 参数。

训练 ATIS 数据集：

python3 main.py --task atis \
                --model_type bert \
                --model_dir atis_model \
                --do_train --do_eval

训练 Snips 数据集（启用 CRF）：

python3 main.py --task snips \
                --model_type bert \
                --model_dir snips_model \
                --do_train --do_eval \
                --use_crf

参数说明：

• --slot_loss_coef：调整槽位损失函数的权重系数（默认公式：total_loss = intent_loss + coef * slot_loss）。
• 建议训练 5~10 个 epoch 并记录最佳结果。

2. 模型预测

训练完成后，使用保存的检查点对新数据进行预测：

python3 predict.py --input_file {INPUT_FILE_PATH} --output_file {OUTPUT_FILE_PATH} --model_dir {SAVED_CKPT_PATH}

请将 {INPUT_FILE_PATH}、{OUTPUT_FILE_PATH} 和 {SAVED_CKPT_PATH} 替换为实际的文件路径。