来自谷歌BERT的语言理解思路：预训练TextCNN

目录

1. 引言

2. 性能表现

3. 使用方法

4. 样本数据、数据格式

5. 对用户的建议

6. BERT简要介绍

7. 作者对BERT的详细描述

8. 预训练语言理解任务

9. 环境配置

10. 实现细节

11. 关于更好地理解Transformer和BERT的思考题

12. 小型任务

13. 多标签分类任务

14. 待办事项清单

15. 结论

16. 参考文献

引言

预训练就是一切！

BERT最近在超过10项自然语言处理任务上取得了新的最先进成果。

这是一个基于TensorFlow的实现，用于深度双向Transformer在语言理解中的预训练（BERT）以及“注意力就是一切”（Transformer）。

更新：目前主要复现了这两篇论文的核心思想，与从零开始训练模型相比，预训练后再进行微调能够带来显著的性能提升。

预训练与微调实验

我们进行了实验，将BERT的骨干网络从Transformer替换为TextCNN。结果表明，使用大量原始数据通过掩码语言模型进行预训练，可以显著提升模型性能。更广泛地说，我们认为预训练与微调策略是与模型架构及具体预训练任务无关的。也就是说，你可以根据需要更换骨干网络，并添加或定义新的预训练任务，而不仅仅局限于掩码语言模型或下一句预测任务。令人惊喜的是，即使仅使用中等规模的数据集（例如一百万条样本），无需借助外部数据，通过诸如掩码语言模型之类的预训练任务，模型性能也能大幅提升，且收敛速度更快，有时在微调阶段只需几个epoch即可完成训练。

设计意图

虽然已经有开源项目（tensor2tensor）以及官方即将发布的Transformer和BERT实现，但这些代码往往晦涩难懂，不易理解。我们的目的并非完全复现原论文，而是借鉴其核心思想，以更优的方式解决NLP问题。这里大部分工作实际上是由去年另一个仓库完成的：text classification。

性能表现

中等规模数据集（cail2018, 45万条）

模型	TextCNN（无预训练）	TextCNN（预训练-微调）	预训练带来的增益
F1分数（1个epoch后）	0.09	0.58	0.49
F1分数（5个epoch后）	0.40	0.74	0.35
F1分数（7个epoch后）	0.44	0.75	0.31
F1分数（35个epoch后）	0.58	0.75	0.27
训练损失（初始值）	284.0	84.3	199.7
验证损失（1个epoch后）	13.3	1.9	11.4
验证损失（5个epoch后）	6.7	1.3	5.4
单GPU训练时间	8小时	2小时	6小时

---

注意：

a. 微调阶段仅运行了7个epoch便达到最大epoch数35，训练结束。实际上，微调阶段是从第27个epoch开始的，即预训练阶段结束时。

c. 此处报告的F1分数是在验证集上计算的，为微观和宏观F1分数的平均值。

d. 35个epoch后的F1分数是在测试集上报告的。

e. 从45万份原始文档中，我们提取了200万条用于掩码语言模型训练的数据，预训练阶段在单GPU上仅用5小时便完成了。

预训练后的微调：

无预训练：

小型数据集（私有，10万条）

模型	TextCNN（无预训练）	TextCNN（预训练-微调）	预训练带来的增益
F1分数（1个epoch后）	0.44	0.57	10%+
验证损失（1个epoch后）	55.1	1.0	54.1
训练损失（初始值）	68.5	8.2	60.3

---

使用方法

如果你想尝试BERT结合掩码语言模型预训练和微调，只需两步：

[步骤1] 使用BERT进行掩码语言模型预训练：

 python train_bert_lm.py [已完成]

[步骤2] 微调：

 python train_bert_fine_tuning.py [已完成]

如你所见，在微调刚开始、刚从预训练模型恢复参数时，模型的损失就已经比从零开始训练时更低，F1分数也更高，而后者可能从0开始。

注意：为了帮助你快速尝试新想法，可以将超参数test_mode设置为True。这样只会加载少量数据，从而迅速开始训练。

[基本步骤] 使用Transformer处理分类问题（可选）：

 python train_transform.py [已完成，但存在一个导致无法收敛的bug，欢迎修复，邮箱：brightmart@hotmail.com]
    

可选超参数

d_model：模型维度。 [512]

num_layer：层数。 [6]

num_header：自注意力机制的头数 [8]

d_k：Key(K)的维度。Query(Q)的维度相同。 [64]

d_v：Value(V)的维度。 [64]

默认超参数为d_model=512,h=8,d_k=d_v=64（大）。如果你希望快速训练模型，或者数据量较小，又或是想训练一个小模型，可以使用d_model=128,h=8,d_k=d_v=16（小），或d_model=64,h=8,d_k=d_v=8（tiny）。

样本数据与数据格式

预训练阶段：

每行可以是一段文档（包含若干句子）或一个句子，即你可以轻松获取的自由文本。

请查看压缩包中的 data/bert_train.txt 或 bert_train2.txt。

微调阶段使用的数据：

输入和输出在同一行中，每个标签以 'label' 开头。

输入字符串与第一个标签之间有一个空格，各个标签之间也用空格分隔。

例如： token1 token2 token3 __label__l1 __label__l5 __label__l3

token1 token2 token3 __label__l2 __label__l4

请查看压缩包中的 data/bert_train.txt 或 bert_train2.txt。

在 'data' 文件夹中可找到样本数据。 在此下载一个中等规模的数据集， 包含 45 万条样本、206 个类别，每条输入为一篇文档，平均长度约为 300 字，且每个输入可能关联一个或多个标签。

从腾讯 AI 实验室下载预训练词向量

用户建议

1. 操作简单步骤如下：

   1. 下载数据集（约 200MB，包含 45 万条样本及部分缓存文件），解压后放入 data/ 文件夹中；

   2. 执行预训练步骤 1；

   3. 再执行微调步骤 2。

2. 如果已完成上述三步，但仍希望获得更好的效果，该如何进一步优化？是否需要寻找更大的数据集？

   不必。你可以在预训练阶段自行生成大规模数据集，只需下载一些自由文本，确保每行是一个完整的文档或句子，然后将 data/bert_train2.txt 替换为你新生成的数据文件。

3. 还有其他方法吗？

   可尝试调整较大的超参数或使用更大的模型（通过替换主干网络），直到能够充分利用所有预训练数据。

   也可以探索不同的模型实现：model/bert_cnn_model.py，或检查数据预处理：data_util_hdf5.py。

BERT 简介：

在大规模语料上进行语言模型和下一句预测任务的预训练，

基于多层自注意力机制，随后通过添加分类层进行微调。

由于 BERT 模型基于 Transformer 架构，我们目前正在研究为其增加新的预训练任务。

注意： cail2018 数据集如上方链接所示，约 45 万条样本。

私有数据集的训练规模约为 10 万条，包含 9 个类别，每条输入对应一个或多个标签。

cail2018 的 F1 分数报告的是微观 F1 分数。

BERT 作者详细说明

基本思路非常简单。多年来，人们一直通过将深度神经网络作为语言模型进行“预训练”，然后再针对下游自然语言处理任务（如问答、自然语言推理、情感分析等）进行微调，取得了非常好的效果。

语言模型通常是左到右的，例如：

“这个人去了商店”

 P(人 | <s>)*P(去|<s> 人)*P(商店|<s> 人 去)*…

然而，在下游任务中，我们通常并不需要一个单纯的语言模型，而是需要对每个词尽可能准确地捕捉其上下文信息。如果每个词只能看到左侧的上下文，显然会遗漏很多信息。因此，一种常见的做法是同时训练一个右到左的语言模型，例如：

 P(商店|</s>)*P(去|商店 </s>)*…

这样一来，我们就有了每个词的两种表示：一种是从左到右，另一种是从右到左，可以在下游任务中将它们拼接起来使用。

但从直觉上看，如果我们能训练一个真正双向的深层模型，效果会更好。

遗憾的是，像普通语言模型那样训练深层双向模型是不可能的，因为这会导致循环依赖，使得单词之间可以间接“看到自己”，从而使预测变得毫无意义。

因此，我们可以采用去噪自编码器中常用的一个简单技巧：随机遮盖输入中的一部分单词，并要求模型根据上下文来重建这些被遮盖的单词。我们称这种任务为“掩码语言模型”，它也常被称为 Cloze 任务。

预训练语言理解任务

任务 1：掩码语言模型

我们将输入送入深层 Transformer 编码器，然后利用与被遮盖位置对应的最终隐藏状态来

预测被遮盖的是哪个词，这与训练语言模型的方式完全相同。

源文件中每行都是一个由标记组成的序列，可以是一句话。
输入序列：那个人去了[MASK]商店，带着[MASK]狗
目标序列：那个                他的

如何获取被遮盖位置的最后隐藏状态？

 1) 我们保留一批位置索引，
 2) 将其转换为独热编码，再与序列的表示相乘，
 3) 在第二维（序列长度）上，只有对应位置为 1，其余均为 0，
 4) 这样我们就可以在不丢失任何信息的情况下进行求和。
        

更多细节，请参阅 pretrain_task.py 和 train_vert_lm.py 中的 mask_language_model 方法。

任务 2：下一句预测

许多语言理解任务，如问答、推理等，都需要理解句子之间的关系。

然而，语言模型本身并不能很好地理解句子间的关系。下一句预测任务正是为了帮助模型更好地完成这类任务而设计的。

50% 的情况下，第二个句子确实是第一个句子的下一句；另外 50% 则不是。

给定两个句子，模型需要判断第二个句子是否真的是第一个句子的下一句。

输入：[CLS] 那个人去了商店 [SEP] 他买了一加仑牛奶 [SEP]
标签：是下一句

输入 = [CLS] 那个人正走向商店 [SEP] 企鹅[MASK]是不能飞的鸟类 [SEP]
标签 = 不是下一句

运行环境

python 3+ tensorflow 1.10

实现细节

1. 预训练阶段与微调阶段之间哪些参数是共享的，哪些不共享？

   1). 基本上，预训练和微调阶段所使用的骨干网络的所有参数都是共享的。

   2). 尽可能多地共享参数，这样在微调阶段就需要学习的参数尽可能少。因此，我们在这两个阶段也共享了词嵌入。

   3). 所以，在微调阶段开始时，大部分参数都已经学好了。

2. 我们如何实现掩码语言模型？

   为了简化操作，我们从文档中生成句子，并将它们分割成单个句子。对于每个句子，

   我们将其截断或填充到相同的长度，然后随机选择一个单词，用[MASK]标记、该单词本身以及一个随机单词来替换它。

3. 如何在不破坏预训练阶段学到的结果和知识的情况下，使微调阶段更加高效？

   我们在微调阶段使用较小的学习率，从而以非常小的幅度进行调整。

关于更好地理解Transformer和BERT的问答

1. 为什么我们需要自注意力机制？

   自注意力机制是一种新型的网络结构，近年来越来越受到关注。传统上，我们通常使用RNN或CNN来解决问题。然而，RNN在并行计算方面存在瓶颈，而CNN则不擅长处理位置敏感的任务。

   自注意力机制可以在并行计算的同时，捕捉长距离依赖关系。

2. 什么是多头自注意力机制？Q、K、V分别代表什么？请补充说明。

   多头自注意力机制是一种自注意力机制，它会将查询（Q）和键（K）分别投影到多个不同的子空间中，然后再进行注意力计算。

   Q代表查询，K代表键。在机器翻译任务中，Q是解码器的前一时刻隐藏状态，而K则表示编码器的隐藏状态。K中的每一个元素都会与Q计算相似度得分，然后通过Softmax函数对得分进行归一化，得到权重。最后，利用这些权重对值（V）进行加权求和。

   但在自注意力场景中，Q、K、V都是输入序列的表示。

3. 什么是位置前馈网络？

   它是一种前馈层，也称为全连接层（FC）。然而，在Transformer中，所有层的输入和输出都是向量序列：[sequence_length, d_model]。通常我们对单个向量进行全连接操作，而在Transformer中，每个时间步都有自己的全连接层。

4. BERT的主要贡献是什么？

   虽然预训练任务已经存在多年，但BERT引入了一种新的双向语言建模方法，并将其应用于下游任务。由于语言模型的数据无处不在，这种方法被证明非常强大，从而重塑了自然语言处理领域。

5. 为什么作者在生成掩码语言模型的训练数据时使用三种不同类型的标记？

   作者认为，在微调阶段不会出现[MASK]标记，这会导致预训练和微调之间的不匹配。此外，这也迫使模型关注句子中的所有上下文信息。

6. 是什么让BERT模型在语言理解任务中达到了新的最先进水平？

   大规模模型、大规模计算，最重要的是——新的算法：使用自由文本数据对模型进行预训练。

玩具任务

玩具任务用于检查模型是否能够在不依赖真实数据的情况下正常工作。

它要求模型统计数字并计算所有输入的总和。同时设置一个阈值，如果总和大于（或小于）该阈值，则模型需要预测为1（或0）。

在model/transform_model.py文件中，有一个训练和预测方法。

首先可以运行train()开始训练，然后运行predict()使用训练好的模型进行预测。

由于模型规模较大，使用默认超参数（d_model=512，h=8，d_v=d_k=64，num_layer=6），需要大量的数据才能收敛。

至少需要1万步，损失才能降到0.1以下。如果希望用少量数据快速训练，可以使用较小的超参数集（d_model=128，h=8，d_v=d_k=16，num_layer=6）。

使用Transformer和BERT进行多标签分类任务

你可以用它来解决二分类、多分类或多标签分类问题。

它会在训练过程中打印损失，并在验证过程中为每个epoch打印F1分数。

待办事项清单

1. 修复Transformer中的一个bug [重要，需招募团队成员并提交合并请求]

   （Transformer：为什么预训练阶段的损失在早期会下降，但仍然很大（例如损失=8.0）？即使增加预训练数据，损失依然没有明显降低）

2. 支持句子对任务 [重要，需招募团队成员并提交合并请求]

3. 添加下一句预测的预训练任务 [重要，需招募团队成员并提交合并请求]

4. 需要一个用于情感分析或英文文本分类的数据集 [重要，需招募团队成员并提交合并请求]

5. 位置嵌入目前尚未在预训练和微调阶段之间共享。因为在预训练阶段，序列长度可能会比微调阶段短。

6. 对第一个特殊标记[cls]作为输入和分类进行特殊处理 [已完成]

7. 预训练与微调结合：需要加载预训练阶段的词汇表，但标签来自实际任务。 [已完成]

8. 微调时应使用更小的学习率。 [已完成]

结论

1. 预训练就是你需要的一切。虽然使用Transformer或其他复杂的深度模型可以帮助你在某些任务中取得顶尖表现，但使用TextCNN等模型对海量原始数据进行预训练，再基于特定任务的数据集对模型进行微调，始终能够帮助你获得额外的性能提升。

2. 还可以在此添加更多内容。

如果您有任何建议、问题或想做出贡献，请随时联系我：brightmart@hotmail.com

参考文献

1. Attention Is All You Need

2. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

3. Tensor2Tensor for Neural Machine Translation

4. Convolutional Neural Networks for Sentence Classification

5. CAIL2018: A Large-Scale Legal Dataset for Judgment Prediction

bert_language_understanding 快速上手指南

本指南基于 Google BERT 的核心思想，提供了一个使用 TensorFlow 实现的预训练（Pre-train）与微调（Fine-tuning）框架。该工具支持将骨干网络替换为 TextCNN 等结构，通过掩码语言模型（Masked LM）在大量无标注数据上进行预训练，显著提升下游任务（如文本分类）的性能和收敛速度。

1. 环境准备

系统要求

• 操作系统: Linux / macOS / Windows
• Python: 建议 Python 3.6+
• GPU: 推荐使用 NVIDIA GPU 以加速训练（单卡即可运行）

前置依赖

本项目基于 TensorFlow (版本需兼容 tensor2tensor 或原生 TF 实现)。请确保已安装以下核心库：

pip install tensorflow
pip install numpy
pip install h5py

提示：国内用户可使用清华源加速安装： pip install tensorflow numpy h5py -i https://pypi.tuna.tsinghua.edu.cn/simple

数据准备

项目需要两类数据文件，请放置在 data/ 目录下：

1. 预训练数据 (bert_train.txt 或 bert_train2.txt)：每行为一个文档或句子（纯文本）。
   • 示例数据来源：CAIL2018 数据集 (百度网盘) 或自行收集的免费文本。
2. 微调数据：格式为 输入文本 __label__标签 1 __label__标签 2。
   • 格式示例：token1 token2 token3 __label__l1 __label__l5

2. 安装步骤

本项目主要为脚本集合，无需复杂的编译安装过程。

1. 克隆代码库

   git clone https://github.com/brightmart/bert_language_understanding.git
   cd bert_language_understanding
   

2. 配置数据目录 将下载好的数据集解压并放入项目根目录下的 data/ 文件夹中。确保文件名与代码中引用的保持一致（如 bert_train.txt）。

3. 验证环境 可通过设置测试模式快速验证环境是否就绪（仅加载少量数据）： 在后续运行的脚本中将 test_mode 参数设为 True。

3. 基本使用

核心流程分为两步：预训练 (Pre-train) 和 微调 (Fine-tuning)。

第一步：执行预训练 (Masked Language Model)

使用大量无标注文本预训练模型，学习语言表示。

python train_bert_lm.py

说明：默认使用 Transformer 架构。若需使用 TextCNN 作为骨干网络，请检查代码中的模型配置选项。预训练完成后，模型参数将被保存。

第二步：执行微调 (Fine-tuning)

加载预训练权重，在特定的分类任务数据进行微调。

python train_bert_fine_tuning.py

说明：脚本会自动恢复预训练阶段的参数。你会发现初始 Loss 远低于从头训练，且 F1 分数起步更高。

可选：调整模型超参数

若需快速实验或使用小数据集，可修改以下超参数（通常在脚本内部或命令行参数中）：

• 大模型 (Default): d_model=512, num_layer=6, num_header=8
• 小模型 (快速训练): d_model=128, num_layer=6, num_header=8, d_k=d_v=16
• 微型模型: d_model=64, num_header=8, d_k=d_v=8

注意：若仅需测试流程，请在运行上述命令前将代码中的 test_mode 设置为 True，这将只加载少量数据并快速启动训练。