BERT-pytorch

Google AI 2018年提出的BERT的PyTorch实现，附有简单注释。

BERT 2018 BERT：用于语言理解的深度双向Transformer预训练 论文链接：https://arxiv.org/abs/1810.04805

简介

Google AI的BERT论文在多项自然语言处理任务中取得了惊人的成果（刷新了17项NLP任务的SOTA记录），甚至在SQuAD v1.1问答任务上超越了人类的F1分数。该论文证明了基于Transformer（自注意力机制）的编码器，通过适当的语言模型训练方法，可以作为传统语言模型的强大替代方案。更重要的是，他们展示了这种预训练的语言模型无需针对特定任务设计架构，即可迁移到任何NLP任务中。

这一突破性的成果将被载入NLP的历史，预计很快会有大量关于BERT的后续研究发表。

本仓库实现了BERT模型。代码非常简洁易懂，能够快速上手。部分代码参考了The Annotated Transformer。

目前该项目仍在开发中，代码尚未经过全面验证。

安装

pip install bert-pytorch

快速入门

注意：您的语料库应以制表符（\t）分隔，每行包含两个句子

0. 准备语料库

欢迎来到丛林\t丛林\n
我可以待在这里\t整晚\n

或者已分词的语料库（分词功能不在本包内）

Wel_ _come _to _the \t _the _jungle\n
_I _can _stay \t _here _all _night\n

1. 根据语料库构建词汇表

bert-vocab -c data/corpus.small -o data/vocab.small

2. 训练您自己的BERT模型

bert -c data/corpus.small -v data/vocab.small -o output/bert.model

语言模型预训练

论文中，作者提出了两种新的语言模型训练方法：“掩码语言模型”和“下一句预测”。

掩码语言模型

原文：3.3.1 任务1：掩码LM

输入序列：The man went to [MASK] store with [MASK] dog
目标序列：                  the                his

规则：

随机将输入序列中约15%的标记替换为其他内容，具体规则如下：

1. 随机80%的标记会被替换为[MASK]标记。
2. 随机10%的标记会被替换为另一个随机词[RANDOM]。
3. 随机10%的标记保持原样，但仍需预测其真实值。

下一句预测

原文：3.3.2 任务2：下一句预测

输入：[CLS] the man went to the store [SEP] he bought a gallon of milk [SEP]
标签：Is Next

输入：[CLS] the man heading to the store [SEP] penguin [MASK] are flight ##less birds [SEP]
标签：NotNext

“这两句话是否可以连续连接？”

即理解两段文本之间的关系，而这种关系无法直接通过语言建模捕捉到。

规则：

1. 随机50%的下一句是与前一句连续的句子。
2. 随机50%的下一句是不相关的句子。

作者

Junseong Kim, Scatter Lab (codertimo@gmail.com / junseong.kim@scatterlab.co.kr)

许可证

本项目遵循Apache 2.0许可证，具体内容见LICENSE文件。

版权所有 © 2018 Junseong Kim, Scatter Lab，以及BERT的相关贡献者。

版权所有 © 2018 Alexander Rush：The Annotated Transformer

BERT-pytorch 快速上手指南

BERT-pytorch 是 Google AI 2018 年发布的 BERT 模型的 PyTorch 实现版本。该项目代码简洁、注释清晰，适合希望快速理解 BERT 原理或进行轻量级预训练的开发者和研究者。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：建议 Python 3.6 及以上
• 核心依赖：
  • PyTorch (推荐最新稳定版)
  • tqdm (用于进度条显示)
  • tensorboardX (可选，用于可视化训练过程)

提示：国内用户安装 PyTorch 时，推荐使用清华或中科大镜像源加速下载。 例如：pip install torch torchvision -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

您可以通过 pip 直接安装官方发布版本：

pip install bert-pytorch

若需加速安装，可使用国内镜像源：

pip install bert-pytorch -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

本工具的核心流程分为三步：准备语料、构建词表、训练模型。

1. 准备语料数据

注意：输入语料必须遵循特定格式，即每一行包含两个句子，中间用制表符（\t）分隔。

您可以创建名为 corpus.txt 的文件，内容示例如下（支持原始文本或已分词文本）：

Welcome to the \t the jungle
I can stay \t here all night

或者使用已分词的形式（分词需自行处理，不在包内）：

Wel_ _come _to _the \t _the _jungle
_I _can _stay \t _here _all _night

2. 构建词表 (Vocab)

使用 bert-vocab 命令基于您的语料生成词表文件：

bert-vocab -c data/corpus.small -o data/vocab.small

• -c: 输入语料文件路径
• -o: 输出词表文件路径

3. 训练 BERT 模型

使用 bert 命令开始预训练。该过程将自动执行论文中提到的两种任务：掩码语言模型 (Masked LM) 和 下一句预测 (Next Sentence Prediction)。

bert -c data/corpus.small -v data/vocab.small -o output/bert.model

• -c: 输入语料文件路径
• -v: 上一步生成的词表文件路径
• -o: 输出模型保存路径

训练完成后，您将在指定输出目录获得 .model 文件，可用于后续的微调或特征提取任务。