基于 PyTorch 的 BERT 多标签文本分类

本仓库包含一个使用 PyTorch 实现的预训练 BERT 和 XLNET 模型，用于多标签文本分类任务。

代码结构

在项目的根目录下，您会看到以下文件和目录：

├── pybert
|  └── callback
|  |  └── lrscheduler.py　　
|  |  └── trainingmonitor.py　
|  |  └── ...
|  └── config
|  |  └── basic_config.py # 存储模型参数的配置文件
|  └── dataset　　　
|  └── io　　　　
|  |  └── dataset.py　　
|  |  └── data_transformer.py　　
|  └── model
|  |  └── nn　
|  |  └── pretrain　
|  └── output # 保存模型输出
|  └── preprocessing # 文本预处理
|  └── train # 用于训练模型
|  |  └── trainer.py 
|  |  └── ...
|  └── common # 工具函数集合
├── run_bert.py
├── run_xlnet.py

依赖项

• csv
• tqdm
• numpy
• pickle
• scikit-learn
• PyTorch 1.1+
• matplotlib
• pandas
• transformers=2.5.1

如何使用代码

您需要下载预训练的 BERT 模型和 XLNET 模型。

1. 从 s3 下载 BERT 预训练模型。
2. 从 s3 下载 BERT 配置文件。
3. 从 s3 下载 BERT 词汇表文件。
4. 重命名：
   • bert-base-uncased-pytorch_model.bin 重命名为 pytorch_model.bin
   • bert-base-uncased-config.json 重命名为 config.json
   • bert-base-uncased-vocab.txt 重命名为 bert_vocab.txt
5. 将 model、config 和 vocab 文件放入 /pybert/pretrain/bert/base-uncased 目录中。
6. 通过 GitHub 安装 pytorch-transformers。
7. 下载 Kaggle 数据集 并放置在 pybert/dataset 目录中。
   • 您可以修改 io.task_data.py 来适配您的数据。
8. 修改 pybert/configs/basic_config.py 中的配置信息（数据路径等）。
9. 运行 python run_bert.py --do_data 进行数据预处理。
10. 运行 python run_bert.py --do_train --save_best --do_lower_case 对 BERT 模型进行微调。
11. 运行 run_bert.py --do_test --do_lower_case 对新数据进行预测。

训练过程

[training] 8511/8511 [>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>] -0.8s/step- loss: 0.0640
训练结果：
[2019-01-14 04:01:05]: bert-multi-label trainer.py[line:176] INFO  
Epoch: 2 - loss: 0.0338 - val_loss: 0.0373 - val_auc: 0.9922

训练曲线图

结果

---- 每个标签的训练报告 -----
Label: toxic - auc: 0.9903
Label: severe_toxic - auc: 0.9913
Label: obscene - auc: 0.9951
Label: threat - auc: 0.9898
Label: insult - auc: 0.9911
Label: identity_hate - auc: 0.9910
---- 每个标签的验证报告 -----
Label: toxic - auc: 0.9892
Label: severe_toxic - auc: 0.9911
Label: obscene - auc: 0.9945
Label: threat - auc: 0.9955
Label: insult - auc: 0.9903
Label: identity_hate - auc: 0.9927

使用提示

• 在将 TensorFlow 检查点转换为 PyTorch 格式时，应选择 bert_model.ckpt 而不是 bert_model.ckpt.index 作为输入文件。否则，模型将无法学习，并对任何输入产生几乎相同的随机输出。这表明您并未正确加载模型的真实检查点。
• 在使用多 GPU 时，DataParallel 实例不支持非张量计算，例如准确率和 F1 分数。
• 根据 Jacob 在论文 https://arxiv.org/pdf/1810.04805.pdf 中的建议，在微调任务中，超参数应设置为：Batch_size: 16 或 32，learning_rate: 5e-5、2e-5 或 3e-5，num_train_epoch: 3 或 4。
• 预训练模型对输入句子的长度有限制，不得超过 512 个标记（即最大位置嵌入维度）。数据流经以下流程进入模型：原始数据 -> WordPieces -> 模型。需要注意的是，WordPieces 的长度通常会比原始数据长，因此原始数据的安全最大长度约为 128–256 个标记。
• 经过测试发现，微调所有层的效果通常优于仅微调最后一层分类器的效果。后者实际上是一种基于特征的方法。

Bert-Multi-Label-Text-Classification 快速上手指南

本指南帮助中国开发者快速部署基于 PyTorch 的 BERT/XLNet 多标签文本分类模型。

环境准备

系统要求

• Python: 建议 Python 3.6+
• PyTorch: 1.1 或更高版本
• Transformers: 2.5.1 (注意版本兼容性)

前置依赖

请确保安装以下 Python 库：

pip install csv tqdm numpy pickle scikit-learn matplotlib pandas

国内加速建议：推荐使用清华源或阿里源加速安装，例如： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

安装步骤

1. 安装核心依赖

安装指定的 transformers 版本（原项目依赖 pytorch-transformers，即旧版 transformers）：

pip install pytorch-transformers==2.5.1
# 或者使用国内镜像
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pytorch-transformers==2.5.1

2. 下载预训练模型

本项目需要手动下载 BERT 或 XLNet 预训练权重文件。以 BERT (bert-base-uncased) 为例：

1. 下载文件：

   • 模型权重: pytorch_model.bin
   • 配置文件: config.json
   • 词表文件: vocab.txt

   提示：若 S3 下载缓慢，可尝试在 Hugging Face 官网或国内 ModelScope 社区搜索对应模型资源。

2. 重命名文件： 将下载的文件重命名为：

   • bert-base-uncased-pytorch_model.bin -> pytorch_model.bin
   • bert-base-uncased-config.json -> config.json
   • bert-base-uncased-vocab.txt -> bert_vocab.txt

3. 放置文件： 将上述三个文件放入项目目录下的指定文件夹：

   /pybert/pretrain/bert/base-uncased/
   

   (如果目录不存在，请手动创建)

3. 准备数据集

下载 Kaggle Jigsaw Toxic Comment 数据集，并将数据文件放置在 pybert/dataset 目录下。 如需使用自定义数据，请修改 pybert/io/task_data.py 适配您的数据格式。

4. 配置参数

编辑 pybert/config/basic_config.py，修改数据路径、模型路径等配置信息以匹配您的本地环境。

基本使用

完成上述准备后，即可通过命令行运行模型。

1. 数据预处理

执行以下命令处理原始数据：

python run_bert.py --do_data

2. 微调训练 (Fine-tuning)

开始训练模型，并保存最佳权重：

python run_bert.py --do_train --save_best --do_lower_case

训练过程中会输出 Loss 和 AUC 指标，类似如下：

Epoch: 2 - loss: 0.0338 - val_loss: 0.0373 - val_auc: 0.9922

3. 预测新数据

使用训练好的模型进行推理：

python run_bert.py --do_test --do_lower_case

💡 关键调参建议

根据原论文推荐，微调任务的最佳超参数设置如下：

• Batch_size: 16 或 32
• Learning_rate: 5e-5, 2e-5 或 3e-5
• Num_train_epoch: 3 或 4
• 输入长度: 原始文本建议控制在 128-256 字符以内（经 WordPiece 分词后不超过 512）。