BERT: 用于语言理解的深度双向 Transformer 预训练 论文的中文翻译

本资源完整地翻译了论文，并且给出了论文中所有引用资料的网络连接，方便对 BERT 感兴趣的朋友们进一步研究 BERT。

1. 原文 BERT: 用于语言理解的深度双向 Transformer 预训练，这是 BERT 在 2018 年 11 月发布的版本，与 2019 年 5 月版本 v2 有稍许不同。
2. 以下内容是部分预览内容，完整内容查看本资源中的 [Bidirectional_Encoder_Representations_Transformers 翻译.md](Bidirectional_Encoder_Representations_Transformers 翻译.md)；
3. BERT 论文翻译 [PDF 版下载](BERT 中文翻译 PDF 版.pdf)；
4. 转载请注明出处，商用请联系译者 袁宵 wangzichaochaochao@gmail.com；
5. 未来将继续翻译和解析深度学习相关论文，特别是自然语言处理（NLP）方向的论文。
6. 如果你喜欢我的工作，请点亮右上角星星，谢谢 :smiley:

---

手机扫码阅读：


---

BERT：预训练的深度双向 Transformer 语言模型

Jacob Devlin；Ming-Wei Chang；Kenton Lee；Kristina Toutanova Google AI 语言团队 {jacobdevlin,mingweichang,kentonl,kristout}@google.com


图 1：预训练模型结构的不同。BERT 使用双向 Transformer。OpenAI GPT 使用从左到右的 Transformer。ELMo 使用独立训练的从左到右和从右到左的 LSTM 的连接来为下游任务生成特征。其中，只有 BERT 表示在所有层中同时受到左右语境的制约。


图 2：BERT 的输入表示。输入嵌入是标记嵌入（词嵌入）、句子嵌入和位置嵌入的总和。

摘要

我们提出了一种新的称为 BERT 的语言表示模型，BERT 代表来自 Transformer 的双向编码器表示（Bidirectional Encoder Representations from Transformers）。不同于最近的语言表示模型（Peters et al., 2018，Radford et al., 2018），BERT 旨在通过联合调节所有层中的左右上下文来预训练深度双向表示。因此，只需要一个额外的输出层，就可以对预训练的 BERT 表示进行微调，从而为广泛的任务（比如回答问题和语言推断任务）创建最先进的模型，而无需对特定于任务进行大量模型结构的修改。

BERT 的概念很简单，但实验效果很强大。它刷新了 11 个自然语言处理（NLP）任务的当前最优结果，包括将 GLUE 基准提升至 80.4%（7.6% 的绝对改进）、将 MultiNLI 的准确率提高到 86.7%（5.6% 的绝对改进），以及将 SQuAD v1.1 的问答测试 F1 得分提高至 93.2 分（提高 1.5 分）——比人类表现还高出 2 分。

1. 介绍

语言模型预训练可以显著提高许多自然语言处理任务的效果（Dai and Le, 2015；Peters et al., 2018；Radford et al., 2018；Howard and Ruder, 2018）。这些任务包括句子级任务，如自然语言推理（Bow-man et al., 2015；Williams et al., 2018）和释义（Dolan and Brockett, 2005），目的是通过对句子的整体分析来预测句子之间的关系，以及标记级任务，如命名实体识别（Tjong Kim Sang and De Meulder, 2003）和 SQuAD 问答（Rajpurkar et al., 2016），模型需要在标记级生成细粒度的输出。

现有的两种方法可以将预训练好的语言模型表示应用到下游任务中：基于特征的和微调。基于特征的方法，如 ELMo（Peters et al., 2018），使用特定于任务的模型结构，其中包含预训练的表示作为附加特征。微调方法，如生成预训练 Transformer (OpenAI GPT)（Radford et al., 2018）模型，然后引入最小的特定于任务的参数，并通过简单地微调预训练模型的参数对下游任务进行训练。在之前的工作中，两种方法在预训练任务中都具有相同的目标函数，即使用单向的语言模型来学习通用的语言表达。

我们认为，当前的技术严重地限制了预训练表示的效果，特别是对于微调方法。主要的局限性是标准语言模型是单向的，这就限制了可以在预训练期间可以使用的模型结构的选择。例如，在 OpenAI GPT 中，作者使用了从左到右的模型结构，其中每个标记只能关注 Transformer 的自注意层中该标记前面的标记（Williams et al., 2018）。这些限制对于句子级别的任务来说是次优的（还可以接受），但当把基于微调的方法用来处理标记级别的任务（如 SQuAD 问答）时可能会造成不良的影响（Rajpurkar et al., 2016），因为在标记级别的任务下，从两个方向分析上下文是至关重要的。

在本文中，我们通过提出 BERT 改进了基于微调的方法：来自 Transformer 的双向编码器表示。受完形填空任务的启发，BERT 通过提出一个新的预训练任务来解决前面提到的单向约束：“遮蔽语言模型”（MLM masked language model）（Taylor, 1953）。遮蔽语言模型从输入中随机遮蔽一些标记，目的是仅根据被遮蔽标记的上下文来预测它对应的原始词汇的 ID（标识符）。与从左到右的语言模型预训练不同，MLM 目标允许表示融合左右上下文，这允许我们预训练一个深层双向 Transformer。除了遮蔽语言模型之外，我们还提出了一个联合预训练文本对来进行“下一个句子预测”的任务。

本文的贡献如下：

• 我们论证了双向预训练对语言表征的重要性。与 Radford et al., 2018 使用单向语言模型进行预训练不同，BERT 使用遮蔽语言模型来实现预训练深层双向表示。这也与 Peters et al., 2018 的研究形成了对比，他们使用了一个由左到右和由右到左的独立训练语言模型的浅层连接。
• 我们表明，预训练的表示消除了许多特定于任务的高度工程化的模型结构的需求。BERT 是第一个基于微调的表示模型，它在大量的句子级和标记级任务上实现了最先进的性能，优于许多特定于任务的结构的模型。
• BERT 为 11 个自然语言处理（NLP）任务提供了最先进的技术。我们还进行大量的消融研究，证明了我们模型的双向本质是最重要的新贡献。代码和预训练模型将可在 goo.gl/language/bert 获取。

……

参考文献

所有参考文献按论文各小节中引用顺序排列，多次引用会多次出现在下面的列表中。

摘要中的参考文献

BERT 文中简写	原始论文标题	备注
Peters et al., 2018	深度上下文词表示	ELMo
Radford et al., 2018	利用无监督学习改进语言理解	OpenAI GPT

1. 介绍中的参考文献

BERT 文中简写	原始论文标题	备注
Peters et al., 2018	深度上下文词表示	ELMo
Radford et al., 2018	利用无监督学习改进语言理解	OpenAI GPT
Dai and Le, 2015	半监督序列学习。在神经信息处理系统进展，第 3079–3087 页	Andrew M. Dai 和 Quoc V Le. 2015
Howard and Ruder, 2018	文本分类的通用语言模型微调	ULMFiT；Jeremy Howard 和 Sebastian Ruder.
Bow-man et al., 2015	用于学习自然语言推理的大型标注语料库	Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning.
Williams et al., 2018	通过推理进行句子理解的广泛覆盖挑战语料库	Adina Williams, Nikita Nangia, and Samuel R Bowman.
Dolan and Brockett, 2005	自动构建句子释义语料库	William B Dolan and Chris Brockett. 2005.
Tjong Kim Sang and De Meulder, 2003	CoNLL-2003 共享任务介绍：与语言无关的命名实体识别	Erik F Tjong Kim Sang and Fien De Meulder. 2003.
Rajpurkar et al., 2016	SQuAD：机器阅读理解的一万多个问题	SQuAD
Taylor, 1953	“完形填空程序”：一种测量可读性的新工具	Wilson L Taylor. 1953.

2. 相关工作中的参考文献

BERT 文中简写	原始论文标题	其它
Brown et al., 1992	基于类别的自然语言 n-gram 模型	Peter F Brown, Peter V Desouza, Robert L Mercer, Vincent J Della Pietra, and Jenifer C Lai. 1992.
Ando and Zhang, 2005	从多任务和无标签数据中学习预测结构的框架	Rie Kubota Ando and Tong Zhang. 2005.
Blitzer et al., 2006	具有结构对应学习的领域自适应	John Blitzer, Ryan McDonald, and Fernando Pereira. 2006.
Collobert and Weston, 2008	自然语言处理 (Natural Language Processing) 的统一架构	Ronan Collobert and Jason Weston. 2008.
Mikolov et al., 2013	单词和短语的分布式表示及其组合性	CBOW 模型；Skip-gram 模型
Pennington et al., 2014	GloVe：用于单词表示的全局向量	GloVe
Turian et al., 2010	单词表示：一种简单通用的半监督学习方法	Joseph Turian, Lev Ratinov, and Yoshua Bengio. 2010.
Kiros et al., 2015	Skip-Thought 向量	Skip-Thought 向量
Logeswaran and Lee, 2018	学习句子表示的高效框架	Lajanugen Logeswaran and Honglak Lee. 2018.
Le and Mikolov, 2014	句子和文档的分布式表示	Quoc Le and Tomas Mikolov. 2014.
Peters et al., 2017	使用双向语言模型进行半监督序列标注	Matthew Peters, Waleed Ammar, Chandra Bhagavatula, and Russell Power. 2017.
Peters et al., 2018	深度上下文化单词表示	ELMo
Rajpurkar et al., 2016	SQuAD：机器阅读理解 (Machine Comprehension of Text) 的 10 万 + 个问题	SQuAD
Socher et al., 2013	深度移动：用于情感分析 (Sentiment Analysis) 的深度学习	SST-2
Tjong Kim Sang and De Meulder, 2003	CoNLL-2003 共享任务介绍：语言无关的命名实体识别 (Named Entity Recognition)	Erik F Tjong Kim Sang and Fien De Meulder. 2003.
Dai and Le, 2015	半监督序列学习。In Advances in neural information processing systems, pages 3079–3087	Andrew M Dai and Quoc V Le. 2015
Howard and Ruder, 2018	用于文本分类的通用语言模型微调 (Fine-tuning)	ULMFiT；Jeremy Howard and Sebastian Ruder.
Radford et al., 2018	利用无监督学习 (Unsupervised Learning) 改进语言理解	OpenAI GPT
Wang et al.(2018)	GLUE：自然语言理解的多任务基准和分析平台	GLUE
Con-neau et al., 2017	从自然语言推理 (Natural Language Inference) 数据中监督学习通用句子表示	Alexis Conneau, Douwe Kiela, Holger Schwenk, Loic Barrault, and Antoine Bordes. 2017.
McCann et al., 2017	翻译中学习：上下文化单词向量	Bryan McCann, James Bradbury, Caiming Xiong, and Richard Socher. 2017.
Deng et al.	ImageNet：大规模分层图像数据库	J. Deng,W. Dong, R. Socher, L.-J. Li, K. Li, and L. FeiFei. 2009.
Yosinski et al., 2014	深度神经网络 (Deep Neural Networks) 中的特征可迁移性如何？	Jason Yosinski, Jeff Clune, Yoshua Bengio, and Hod Lipson. 2014.

3. BERT 中的参考文献

BERT 文中简写	原始论文标题	其它
Vaswani et al. (2017)	注意力机制 (Attention Is All You Need)	Transformer
Wu et al., 2016	Google 神经机器翻译 (Neural Machine Translation) 系统：弥合人类与机器翻译之间的差距	WordPiece
Taylor, 1953	["Cloze 程序"]：测量可读性 (Readability) 的新工具](https://www.researchgate.net/publication/232539913_Cloze_Procedure_A_New_Tool_For_Measuring_Readability)	Wilson L Taylor. 1953.
Vincent et al., 2008	提取和组合鲁棒特征的去噪自编码器 (denoising auto-encoders)	去噪自编码器
Zhu et al., 2015	对齐书籍和电影：通过看电影和读书实现故事般的视觉解释	BooksCorpus (800M 单词)
Chelba et al., 2013	衡量统计语言建模 (Statistical Language Modeling) 进展的十亿词基准	Billion Word Benchmark corpus
Hendrycks and Gimpel, 2016	高斯误差线性单元 (GELUs)	GELU

4. 实验中的参考文献

BERT 文中简写	原始论文标题	其他
Wang et al.(2018)	GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding	GLUE
Williams et al., 2018	A Broad-Coverage Challenge Corpus for Sentence Understanding through Inference	MNLI
Chen et al., 2018	First Quora Dataset Release: Question Pairs	QQP
Rajpurkar et al., 2016	SQuAD: 100,000+ Questions for Machine Comprehension of Text	QNLI
Socher et al., 2013	Deeply Moving: Deep Learning for Sentiment Analysis	SST-2
Warstadt et al., 2018	The Corpus of Linguistic Acceptability	CoLA
Cer et al., 2017	SemEval-2017 Task 1: Semantic Textual Similarity - Multilingual and Cross-lingual Focused Evaluation	STS-B
Dolan and Brockett, 2005	Automatically constructing a corpus of sentential paraphrases	MRPC
Bentivogli et al., 2009	The fifth pascal recognizing textual entailment challenge	RTE
Levesque et al., 2011	The winograd schema challenge. In Aaai spring symposium: Logical formalizations of commonsense reasoning, volume 46, page 47.	WNLI
Rajpurkar et al., 2016	SQuAD: 100,000+ Questions for Machine Comprehension of Text	SQuAD
Joshi et al., 2017	TriviaQA: A Large Scale Distantly Supervised Challenge Dataset for Reading Comprehension	TriviaQA
Clark et al., 2018	Semi-Supervised Sequence Modeling with Cross-View Training
Zellers et al., 2018	SWAG: A Large-Scale Adversarial Dataset for Grounded Commonsense Inference	SWAG

5. 消融研究（Ablation Studies）参考文献

BERT 文中简写	原始论文标题	其他
Vaswani et al. (2017)	Attention Is All You Need	Transformer
Al-Rfou et al., 2018	Character-Level Language Modeling with Deeper Self-Attention

BERT_Paper_Chinese_Translation 快速上手指南

简介

本工具提供了经典论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》的完整中文翻译。资源包含论文原文对照、所有引用资料的网络连接以及移动端扫码阅读功能，旨在帮助开发者无障碍地研究 BERT 模型原理。

1. 环境准备

由于本资源主要为文档资料，无需复杂的开发环境配置。

• 操作系统：支持 Windows、macOS、Linux 及移动设备。
• 阅读工具：
  • 电脑端：支持 PDF 阅读的浏览器（如 Chrome）、Adobe Acrobat 或 Markdown 编辑器。
  • 手机端：微信或其他支持图片/二维码扫描的应用。
• 网络要求：需能访问 GitHub 及 ArXiv 等学术资源网站（国内用户如遇网络延迟，建议配置代理或使用稳定网络）。

2. 安装步骤

本资源为静态文档库，可通过以下方式获取最新翻译内容：

方式一：直接下载 PDF（推荐）

适合快速阅读和离线保存。

1. 访问资源页面。
2. 点击下载链接：[BERT 论文翻译 PDF 版下载](BERT 中文翻译 PDF 版.pdf)。

方式二：克隆代码仓库

适合需要编辑 Markdown 源码或追踪更新的用户。

git clone <仓库地址>

(注：具体仓库地址请参考项目主页，若无法访问可尝试使用国内镜像源)

方式三：移动端阅读

1. 打开项目首页。
2. 使用手机扫描页面上的二维码： 

3. 基本使用

获取资源后，您可以根据需求选择阅读方式：

• 在线阅读：在本地打开 Bidirectional_Encoder_Representations_Transformers 翻译.md 文件，使用 Markdown 编辑器查看结构化文本。
• 深度研读：打开下载的 PDF 文件，查阅完整的图表（如图 1 预训练模型结构、图 2 输入表示）及公式推导。
• 扩展研究：利用翻译文档中提供的引用链接（如 ELMo、OpenAI GPT 等），跳转至原始论文进行对比学习。

注意事项

• 版权说明：转载请注明出处。
• 商业用途：如需商用，请联系译者袁宵 (wangzichaochaochao@gmail.com)。
• 版本差异：本文档基于 2018 年 11 月发布的 v1 版本翻译，与 2019 年 5 月的 v2 版本存在细微差异，研究时请注意区分。