BERT for TensorFlow v2

|构建状态| |覆盖率状态| |版本状态| |Python版本| |下载量|

此仓库包含一个基于 TensorFlow 2.0_ 和 Keras_ 的 google-research/bert_ 实现，支持加载原始的 预训练权重_，并生成与原模型计算结果 数值完全一致 的激活值。

通过设置相应的配置参数（shared_layer=True、ALBERT_ 的 embedding_size 以及 adapter-BERT_ 的 adapter_size），还可以支持 ALBERT_ 和 adapter-BERT_。同时设置这两个参数将得到一个 adapter-ALBERT 模型：在所有层之间共享 BERT 参数，同时为每层使用特定的适配器进行调整。

该实现从零开始构建，仅使用基本的 TensorFlow 操作，遵循 google-research/bert/modeling.py_ 中的代码（但去除了冗余代码并进行了一些简化）。此外，它还利用了 kpe/params-flow_ 来减少 Keras 中常见的样板代码（与传递模型和层的配置参数相关）。

bert-for-tf2_ 应当兼容 TensorFlow 2.0_ 以及 TensorFlow 1.14_ 或更高版本。

新消息

• 2020年7月30日 - 添加了 VERBOSE=0 环境变量，用于抑制标准输出。

• 2020年4月6日 - 使用最新的 py-params 引入了 WithParams 基类，适用于 Layer 和 Model。请参阅 kpe/py-params_ 中的相关更新说明（_construct() 的签名已更改，需要调用 super().__construct()）。

• 2020年1月6日 - 支持加载来自 google-research/ALBERT 的 tar 格式权重。

• 2019年11月18日 - 添加了 ALBERT 分词功能（请确保导入时使用 from bert import albert_tokenization 或 from bert import bert_tokenization）。

• 2019年11月8日 - 加载 TFHub/albert_ 上的 google-research/ALBERT_ 权重时，默认使用 v2 版本。

• 2019年11月5日 - 对 ALBERT 词嵌入进行了小幅重构（word_embeddings_2 -> word_embeddings_projector），并修复了相关参数冻结的问题。

• 2019年11月4日 - 支持使用负数 token ID 来添加额外的（任务特定）token 嵌入。

• 2019年10月29日 - 支持加载由 google-research/ALBERT_ 在 TFHub/albert_ 上发布的预训练 ALBERT 权重。

• 2019年10月11日 - 支持加载由 brightmart/albert_zh ALBERT for Chinese_ 发布的预训练 ALBERT 权重。

• 2019年10月10日 - 通过设置 shared_layer=True 和 embedding_size=128 参数，支持 ALBERT_。

• 2019年9月3日 - 提供了使用 adapter-BERT 进行微调，并将微调后的部分权重保存到单独检查点的教程（参见 tests/test_adapter_finetune.py）。

• 2019年9月2日 - 支持扩展预训练模型的 token 类型嵌入，方法是在 load_stock_weights() 中返回不匹配的权重（参见 tests/test_extend_segments.py）。

• 2019年7月25日 - 现在 examples/ 目录下有两个 Colab 笔记本，展示了如何在 Google Colab 的 GPU 或 TPU 上，使用 adapter-BERT_ 模型架构，从预训练的 BERT 权重中微调 IMDB 电影评论情感分类器。

• 2019年6月28日 - v.0.3.0 支持 adapter-BERT（来自 google-research/adapter-bert），用于“NLP 的参数高效迁移学习”，即在不改变冻结的 BERT 权重的情况下，在 BERT 的 Transformer 编码器上微调小型叠加适配器层。

许可证

MIT 许可证。详情请参阅 许可证文件 <https://github.com/kpe/bert-for-tf2/blob/master/LICENSE.txt>_。

安装

bert-for-tf2 已发布在 Python 包索引（PyPI）上：

::

pip install bert-for-tf2

使用方法

bert-for-tf2 中的 BERT 被实现为一个 Keras 层。您可以这样实例化它：

.. code:: python

from bert import BertModelLayer

l_bert = BertModelLayer(**BertModelLayer.Params( vocab_size = 16000, # 嵌入参数 use_token_type = True, use_position_embeddings = True, token_type_vocab_size = 2,

num_layers               = 12,           # Transformer 编码器参数
hidden_size              = 768,
hidden_dropout           = 0.1,
intermediate_size        = 4*768,
intermediate_activation  = "gelu",

adapter_size             = None,         # 参见 arXiv:1902.00751 (adapter-BERT)

shared_layer             = False,        # 对于 ALBERT 为 True（arXiv:1909.11942）
embedding_size           = None,         # 对于 BERT 为 None，对于 ALBERT 则为 wordpiece 嵌入大小

name                     = "bert"        # 其他 Keras 层参数

))

或者使用来自 预训练谷歌模型_ 的 bert_config.json 文件：

.. code:: python

import bert

model_dir = ".models/uncased_L-12_H-768_A-12"

bert_params = bert.params_from_pretrained_ckpt(model_dir) l_bert = bert.BertModelLayer.from_params(bert_params, name="bert")

现在您可以在自己的 Keras 模型中使用 BERT 层，如下所示：

.. code:: python

from tensorflow import keras

max_seq_len = 128 l_input_ids = keras.layers.Input(shape=(max_seq_len,), dtype='int32') l_token_type_ids = keras.layers.Input(shape=(max_seq_len,), dtype='int32')

使用默认的 token_type/segment id 0

output = l_bert(l_input_ids) # 输出：[batch_size, max_seq_len, hidden_size] model = keras.Model(inputs=l_input_ids, outputs=output) model.build(input_shape=(None, max_seq_len))

提供自定义的 token_type/segment id 作为层的输入

output = l_bert([l_input_ids, l_token_type_ids]) # [batch_size, max_seq_len, hidden_size] model = keras.Model(inputs=[l_input_ids, l_token_type_ids], outputs=output) model.build(input_shape=[(None, max_seq_len), (None, max_seq_len)])

如果您选择使用 adapter-BERT_ 并设置了 adapter_size 参数，还需要通过以下方式冻结所有原始的 BERT 层：

.. code:: python

l_bert.apply_adapter_freeze()

一旦模型构建或编译完成，就可以将原始的预训练权重加载到 BERT 层中：

.. code:: python

import bert

bert_ckpt_file = os.path.join(model_dir, "bert_model.ckpt") bert.load_stock_weights(l_bert, bert_ckpt_file)

注意：完整的示例请参阅 tests/test_bert_activations.py_。

常见问题解答

0. 在下面的所有示例中，请务必注意以下这行代码：

.. code:: python

在此处将其用于 Keras 模型，并调用 model.build()

为了快速测试，您可以将其替换为如下代码：

.. code:: python

model = keras.models.Sequential([ keras.layers.InputLayer(input_shape=(128,)), l_bert, keras.layers.Lambda(lambda x: x[:, 0, :]), keras.layers.Dense(2) ]) model.build(input_shape=(None, 128))

1. 如何使用带有 google-research/bert_ 预训练权重的 BERT？

.. code:: python

model_name = "uncased_L-12_H-768_A-12" model_dir = bert.fetch_google_bert_model(model_name, ".models") model_ckpt = os.path.join(model_dir, "bert_model.ckpt")

bert_params = bert.params_from_pretrained_ckpt(model_dir) l_bert = bert.BertModelLayer.from_params(bert_params, name="bert")

在 Keras 模型中使用此处，并调用 model.build()

bert.load_bert_weights(l_bert, model_ckpt) # 应在 model.build() 之后调用

2. 如何使用 google-research/ALBERT 的预训练权重（从 TFHub 获取）？

请参阅 tests/nonci/test_load_pretrained_weights.py <https://github.com/kpe/bert-for-tf2/blob/master/tests/nonci/test_load_pretrained_weights.py>_：

.. code:: python

model_name = "albert_base" model_dir = bert.fetch_tfhub_albert_model(model_name, ".models") model_params = bert.albert_params(model_name) l_bert = bert.BertModelLayer.from_params(model_params, name="albert")

在 Keras 模型中使用此处，并调用 model.build()

bert.load_albert_weights(l_bert, albert_dir) # 应在 model.build() 之后调用

3. 如何使用 google-research/ALBERT 的预训练权重（非 TFHub）？

请参阅 tests/nonci/test_load_pretrained_weights.py <https://github.com/kpe/bert-for-tf2/blob/master/tests/nonci/test_load_pretrained_weights.py>_：

.. code:: python

model_name = "albert_base_v2" model_dir = bert.fetch_google_albert_model(model_name, ".models") model_ckpt = os.path.join(albert_dir, "model.ckpt-best")

model_params = bert.albert_params(model_dir) l_bert = bert.BertModelLayer.from_params(model_params, name="albert")

在 Keras 模型中使用此处，并调用 model.build()

bert.load_albert_weights(l_bert, model_ckpt) # 应在 model.build() 之后调用

4. 如何使用 brightmart/albert_zh 的预训练权重？

请参阅 tests/nonci/test_albert.py <https://github.com/kpe/bert-for-tf2/blob/master/tests/nonci/test_albert.py>_：

.. code:: python

model_name = "albert_base" model_dir = bert.fetch_brightmart_albert_model(model_name, ".models") model_ckpt = os.path.join(model_dir, "albert_model.ckpt")

bert_params = bert.params_from_pretrained_ckpt(model_dir) l_bert = bert.BertModelLayer.from_params(bert_params, name="bert")

在 Keras 模型中使用此处，并调用 model.build()

bert.load_albert_weights(l_bert, model_ckpt) # 应在 model.build() 之后调用

5. 如何为 google-research/bert 模型对输入进行分词？

.. code:: python

do_lower_case = not (model_name.find("cased") == 0 or model_name.find("multi_cased") == 0) bert.bert_tokenization.validate_case_matches_checkpoint(do_lower_case, model_ckpt) vocab_file = os.path.join(model_dir, "vocab.txt") tokenizer = bert.bert_tokenization.FullTokenizer(vocab_file, do_lower_case) tokens = tokenizer.tokenize("Hello, BERT-World!") token_ids = tokenizer.convert_tokens_to_ids(tokens)

6. 如何为 brightmart/albert_zh 对输入进行分词？

.. code:: python

import params_flow pf

获取词汇表文件

albert_zh_vocab_url = "https://raw.githubusercontent.com/brightmart/albert_zh/master/albert_config/vocab.txt" vocab_file = pf.utils.fetch_url(albert_zh_vocab_url, model_dir)

tokenizer = bert.albert_tokenization.FullTokenizer(vocab_file) tokens = tokenizer.tokenize("你好世界") token_ids = tokenizer.convert_tokens_to_ids(tokens)

7. 如何为 google-research/ALBERT 模型对输入进行分词？

.. code:: python

import sentencepiece as spm

spm_model = os.path.join(model_dir, "assets", "30k-clean.model") sp = spm.SentencePieceProcessor() sp.load(spm_model) do_lower_case = True

processed_text = bert.albert_tokenization.preprocess_text("Hello, World!", lower=do_lower_case) token_ids = bert.albert_tokenization.encode_ids(sp, processed_text)

8. 如何为中文 google-research/ALBERT 模型对输入进行分词？

.. code:: python

import bert

vocab_file = os.path.join(model_dir, "vocab.txt") tokenizer = bert.albert_tokenization.FullTokenizer(vocab_file=vocab_file) tokens = tokenizer.tokenize(u"你好世界") token_ids = tokenizer.convert_tokens_to_ids(tokens)

资源

• BERT - BERT：用于语言理解的深度双向变换器预训练
• adapter-BERT - adapter-BERT：面向 NLP 的参数高效迁移学习
• ALBERT - ALBERT：用于语言表示自监督学习的轻量级 BERT
• google-research/bert - 原始的 BERT 实现
• google-research/ALBERT - Google 原始的 ALBERT 实现
• google-research/albert(old) - Google 原始 ALBERT 实现的旧位置
• brightmart/albert_zh - 面向中文的预训练 ALBERT 权重
• kpe/params-flow - 一种 Keras 编码风格，通过利用 kpe/py-params 减少自定义层中的 Keras 繁琐代码

.. _kpe/params-flow: https://github.com/kpe/params-flow .. _kpe/py-params: https://github.com/kpe/py-params .. _bert-for-tf2: https://github.com/kpe/bert-for-tf2

.. _Keras: https://keras.io .. _pre-trained weights: https://github.com/google-research/bert#pre-trained-models .. _google-research/bert: https://github.com/google-research/bert .. _google-research/bert/modeling.py: https://github.com/google-research/bert/blob/master/modeling.py .. _BERT: https://arxiv.org/abs/1810.04805 .. _pre-trained google model: https://github.com/google-research/bert .. _tests/test_bert_activations.py: https://github.com/kpe/bert-for-tf2/blob/master/tests/test_compare_activations.py .. _TensorFlow 2.0: https://www.tensorflow.org/versions/r2.0/api_docs/python/tf .. _TensorFlow 1.14: https://www.tensorflow.org/versions/r1.14/api_docs/python/tf

.. _google-research/adapter-bert: https://github.com/google-research/adapter-bert/ .. _adapter-BERT: https://arxiv.org/abs/1902.00751 .. _ALBERT: https://arxiv.org/abs/1909.11942 .. _brightmart/albert_zh ALBERT for Chinese: https://github.com/brightmart/albert_zh .. _brightmart/albert_zh: https://github.com/brightmart/albert_zh .. _google ALBERT weights: https://github.com/google-research/google-research/tree/master/albert .. _google-research/albert(old): https://github.com/google-research/google-research/tree/master/albert .. _google-research/ALBERT: https://github.com/google-research/ALBERT .. _TFHub/albert: https://tfhub.dev/google/albert_base/2

.. |Build Status| image:: https://travis-ci.com/kpe/bert-for-tf2.svg?branch=master :target: https://travis-ci.com/kpe/bert-for-tf2 .. |Coverage Status| image:: https://coveralls.io/repos/kpe/bert-for-tf2/badge.svg?branch=master :target: https://coveralls.io/r/kpe/bert-for-tf2?branch=master .. |Version Status| image:: https://badge.fury.io/py/bert-for-tf2.svg :target: https://badge.fury.io/py/bert-for-tf2 .. |Python Versions| image:: https://img.shields.io/pypi/pyversions/bert-for-tf2.svg .. |Downloads| image:: https://img.shields.io/pypi/dm/bert-for-tf2.svg .. |Twitter| image:: https://img.shields.io/twitter/follow/siddhadev?logo=twitter&label=&style= :target: https://twitter.com/intent/user?screen_name=siddhadev

bert-for-tf2 快速上手指南

bert-for-tf2 是一个基于 TensorFlow 2.0 (Keras) 实现的 BERT 库。它支持加载 Google 官方预训练权重，并能产生与原始模型数值完全一致的激活结果。此外，它还原生支持 ALBERT 和 adapter-BERT 架构。

环境准备

• Python 版本：兼容 Python 3.x
• 深度学习框架：
  • TensorFlow 2.0+（推荐）
  • 或 TensorFlow 1.14+
• 前置依赖：安装时会自动处理 keras、params-flow 等依赖库。

安装步骤

通过 PyPI 直接安装：

pip install bert-for-tf2

提示：如果下载速度较慢，可以使用国内镜像源加速：

pip install bert-for-tf2 -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

以下是使用预训练 BERT 模型构建 Keras 层的最简示例。

1. 加载预训练配置与模型层

首先，从预训练检查点目录加载参数并初始化 BERT 层。

import os
import bert
from tensorflow import keras

# 假设你已经下载了预训练模型到 .models/uncased_L-12_H-768_A-12 目录
# 如果未下载，可使用 bert.fetch_google_bert_model() 自动下载
model_dir = ".models/uncased_L-12_H-768_A-12"

# 从配置文件加载参数
bert_params = bert.params_from_pretrained_ckpt(model_dir)

# 创建 BERT Keras 层
l_bert = bert.BertModelLayer.from_params(bert_params, name="bert")

2. 构建 Keras 模型

将 BERT 层嵌入到标准的 Keras 模型中。注意需要先调用 model.build() 以初始化权重形状。

max_seq_len = 128

# 定义输入层 (input_ids)
l_input_ids = keras.layers.Input(shape=(max_seq_len,), dtype='int32')

# 将输入传入 BERT 层
# 输出形状: [batch_size, max_seq_len, hidden_size]
output = l_bert(l_input_ids)

# 构建模型
model = keras.Model(inputs=l_input_ids, outputs=output)
model.build(input_shape=(None, max_seq_len))

3. 加载预训练权重

在模型构建完成后，加载实际的预训练权重文件。

# 指定权重文件路径
bert_ckpt_file = os.path.join(model_dir, "bert_model.ckpt")

# 加载权重
bert.load_stock_weights(l_bert, bert_ckpt_file)

4. （可选）使用 ALBERT 或 Adapter-BERT

如果需要使用的是 ALBERT，只需在加载参数时设置相应配置，并使用专用的加载函数：

# 示例：加载 ALBERT base 模型
model_name = "albert_base"
model_dir = bert.fetch_tfhub_albert_model(model_name, ".models")
model_params = bert.albert_params(model_name)

l_bert = bert.BertModelLayer.from_params(model_params, name="albert")

# ... 构建模型代码同上 ...

# 加载 ALBERT 权重
bert.load_albert_weights(l_bert, model_dir)

如果使用 Adapter-BERT 进行参数高效微调，请在加载权重前冻结 BERT 主干网络：

# 在初始化 BertModelLayer 时设置 adapter_size
# l_bert = BertModelLayer(..., adapter_size=64, ...)

# 冻结原始 BERT 层，只训练 Adapter 部分
l_bert.apply_adapter_freeze()