BERT-BiLSTM-CRF-NER

使用BiLSTM-CRF模型结合谷歌BERT进行微调的TensorFlow命名实体识别解决方案

使用谷歌BERT模型在BLSTM-CRF模型上进行预训练，用于中文命名实体识别的TensorFlow代码。

中文文档请查看：https://blog.csdn.net/macanv/article/details/85684284。如果对您有帮助，麻烦点个star，谢谢~~

欢迎给本仓库点个星！

中文训练数据（$PATH/NERdata/）来自：https://github.com/zjy-ucas/ChineseNER

CoNLL-2003数据（$PATH/NERdata/ori/）来自：https://github.com/kyzhouhzau/BERT-NER

评估代码来自：https://github.com/guillaumegenthial/tf_metrics/blob/master/tf_metrics/__init__.py

尝试基于谷歌的BERT代码和BiLSTM-CRF网络实现命名实体识别任务！该项目可能更适合处理中文数据，而对于其他语言，只需修改少量代码即可。

本项目仅支持Python 3。 ###################################################################

下载项目并安装

您可以使用以下命令安装该项目：

pip install bert-base==0.0.9 -i https://pypi.python.org/simple

或者

git clone https://github.com/macanv/BERT-BiLSTM-CRF-NER
cd BERT-BiLSTM-CRF-NER/
python3 setup.py install

如果您不想安装，只需克隆该项目，并引用<run.py>文件来训练模型或启动服务。

更新：

• 2020年2月6日：添加简单的Flask NER服务代码
• 2019年2月25日：修复了NER服务中的一些错误
• 2019年2月19日：添加文本分类服务
• 修复缺失损失函数的错误
• 在训练过程中增加了label_list参数，因此您可以在训练过程中使用-label_list xxx来指定特定标签。

训练模型：

您可以使用-help查看命名实体识别模型训练的相关参数，其中data_dir、bert_config_file、output_dir、init_checkpoint和vocab_file必须指定。

bert-base-ner-train -help

训练/验证/测试数据集如下所示：

海 O
钓 O
比 O
赛 O
地 O
点 O
在 O
厦 B-LOC
门 I-LOC
与 O
金 B-LOC
门 I-LOC
之 O
间 O
的 O
海 O
域 O
。 O

每行的第一个是词元，第二个是该词元的标签，行与行之间用空行分隔。每句话的最大长度由[max_seq_length]参数决定。您可以从上述两个Git仓库获取训练数据。

您可以通过运行以下命令来训练NER模型：

bert-base-ner-train \
    -data_dir {您的数据集目录}\
    -output_dir {训练输出目录}\
    -init_checkpoint {谷歌BERT模型目录}\
    -bert_config_file {谷歌BERT模型目录下的bert_config.json} \
    -vocab_file {谷歌BERT模型目录下的vocab.txt}

例如我的init_checkpoint路径为：

init_checkpoint = F:\chinese_L-12_H-768_A-12\bert_model.ckpt

您还可以使用-label_list参数指定特定标签，项目会从训练数据中自动提取标签。

# 使用逗号分隔
-labels 'B-LOC, I-LOC ...'
或者将标签保存在一个文件中，如labels.txt，每行一个标签
-labels labels.txt

训练完成后，NER模型将被保存到您在命令行中指定的{output_dir}目录中。

我的训练环境：Tesla P40 24G显存

作为服务

许多服务器和客户端代码都来自优秀的开源项目：hanxiao 的 BERT 作为服务。如果我的代码违反了任何许可协议，请告知我，我会第一时间进行修正。 并且 NER 服务器/客户端服务的代码只需稍作修改即可应用于其他任务，例如文本分类，我将在后续提供。 本项目是一个私有的命名实体识别与文本分类服务器服务。 欢迎提交您的请求或分享您的模型，如果您希望将其发布在 GitHub 或我的作品中。

您可以使用 -help 查看 NER 作为服务的相关参数： 其中需要指定 model_dir 和 bert_model_dir：

bert-base-serving-start -help

然后您可以使用以下命令启动 NER 服务：

bert-base-serving-start \
    -model_dir C:\workspace\python\BERT_Base\output\ner2 \
    -bert_model_dir F:\chinese_L-12_H-768_A-12
    -model_pb_dir C:\workspace\python\BERT_Base\model_pb_dir
    -mode NER

或者文本分类服务：

bert-base-serving-start \
    -model_dir C:\workspace\python\BERT_Base\output\ner2 \
    -bert_model_dir F:\chinese_L-12_H-768_A-12
    -model_pb_dir C:\workspace\python\BERT_Base\model_pb_dir
    -mode CLASS
    -max_seq_len 202

如您所见： 模式：如果模式为 NER/CLASS，则将启动命名实体识别/文本分类服务。如果是 BERT 模式，则与 [bert as service] 项目相同。 bert_model_dir：bert_model_dir 是一个 BERT 模型，您可以从 https://github.com/google-research/bert 下载。 ner_model_dir：您的 NER 模型检查点目录。 model_pb_dir：模型冻结保存目录，运行优化函数后，其中会包含类似 ner_model.pb 的二进制文件。

您可以从以下链接下载我的 NER 模型：https://pan.baidu.com/s/1m9VcueQ5gF-TJc00sFD88w，提取码：guqq 或者从这里下载文本分类模型：https://pan.baidu.com/s/1oFPsOUh1n5AM2HjDIo2XCw，提取码：bbu8 将 ner_mode.pb/classification_model.pb 放入 model_pb_dir，并将其他文件放入 model_dir（不同模型需分开存储，您可以将 NER 模型的 label_list.pkl 和 label2id.pkl 放入 model_dir/ner/，而将文本分类文件放入 model_dir/text_classification）。文本分类模型可以对中文数据进行 12 类别分类：'游戏', '娱乐', '财经', '时政', '股票', '教育', '社会', '体育', '家居', '时尚', '房产', '彩票'。

您可以看到如下服务启动信息：

您可以使用以下代码测试客户端：

1. NER 客户端

import time
from bert_base.client import BertClient

with BertClient(show_server_config=False, check_version=False, check_length=False, mode='NER') as bc:
    start_t = time.perf_counter()
    str = '1月24日，新华社对外发布了中央对雄安新区的指导意见，洋洋洒洒1.2万多字，17次提到北京，4次提到天津，信息量很大，其实也回答了人们关心的很多问题。'
    rst = bc.encode([str, str])
    print('rst:', rst)
    print(time.perf_counter() - start_t)

运行上述代码后，您可以看到： 如果您想自定义分词方法，只需在客户端代码上进行以下简单修改：

rst = bc.encode([list(str), list(str)], is_tokenized=True)

2. Text Classification 客户端

with BertClient(show_server_config=False, check_version=False, check_length=False, mode='CLASS') as bc:
    start_t = time.perf_counter()
    str1 = '北京时间2月17日凌晨，第69届柏林国际电影节公布主竞赛单元获奖名单，王景春、咏梅凭借王小帅执导的中国影片《地久天长》连夺最佳男女演员双银熊大奖，这是中国演员首次包揽柏林电影节最佳男女演员奖，为华语影片刷新纪录。与此同时，由青年导演王丽娜执导的影片《第一次的别离》也荣获了本届柏林电影节新生代单元国际评审团最佳影片，可以说，在经历数个获奖小年之后，中国电影在柏林影展再次迎来了高光时刻。'
    str2 = '受粤港澳大湾区规划纲要提振，港股周二高开，恒指开盘上涨近百点，涨幅0.33%，报28440.49点，相关概念股亦集体上涨，电子元件、新能源车、保险、基建概念多数上涨。粤泰股份、珠江实业、深天地A等10余股涨停；中兴通讯、丘钛科技、舜宇光学分别高开1.4%、4.3%、1.6%。比亚迪电子、比亚迪股份、光宇国际分别高开1.7%、1.2%、1%。越秀交通基建涨近2%，粤海投资、碧桂园等多股涨超1%。其他方面，日本软银集团股价上涨超0.4%，推动日经225和东证指数齐齐高开，但随后均回吐涨幅转跌东证指数跌0.2%，日经225指数跌0.11%，报21258.4点。受芯片制造商SK海力士股价下跌1.34％拖累，韩国综指下跌0.34％至2203.9点。澳大利亚ASX 200指数早盘上涨0.39％至6089.8点，大多数行业板块均现涨势。在保健品品牌澳佳宝下调下半财年的销售预期后，其股价暴跌超过23％。澳佳宝CEO亨弗里（Richard Henfrey）认为，公司下半年的利润可能会低于上半年，主要是受到销售额疲弱的影响。同时，亚市早盘澳洲联储公布了2月会议纪要，政策委员将继续谨慎评估经济增长前景，因前景充满不确定性的影响，稳定当前的利率水平比贸然调整利率更为合适，而且当前利率水平将有利于趋向通胀目标及改善就业，当前劳动力市场数据表现强势于其他经济数据。另一方面，经济增长前景亦令消费者消费意愿下滑，如果房价出现下滑，消费可能会进一步疲弱。在澳洲联储公布会议纪要后，澳元兑美元下跌近30点，报0.7120 。美元指数在昨日触及96.65附近的低点之后反弹至96.904。日元兑美元报110.56，接近上一交易日的低点。'
    str3 = '新京报快讯 据国家市场监管总局消息，针对媒体报道水饺等猪肉制品检出非洲猪瘟病毒核酸阳性问题，市场监管总局、农业农村部已要求企业立即追溯猪肉原料来源并对猪肉制品进行了处置。两部门已派出联合督查组调查核实相关情况，要求猪肉制品生产企业进一步加强对猪肉原料的管控，落实检验检疫票证查验规定，完善非洲猪瘟检测和复核制度，防止染疫猪肉原料进入食品加工环节。市场监管总局、农业农村部等部门要求各地全面落实防控责任，强化防控措施，规范信息报告和发布，对不按要求履行防控责任的企业，一旦发现将严厉查处。专家认为，非洲猪瘟不是人畜共患病，虽然对猪有致命危险，但对人没有任何危害，属于只传猪不传人型病毒，不会影响食品安全。开展猪肉制品病毒核酸检测，可为防控溯源工作提供线索。'
    rst = bc.encode([str1, str2, str3])
    print('rst:', rst)
    print('time used:{}'.format(time.perf_counter() - start_t))

运行上述代码后，您可以看到：

请注意，无法同时启动 NER 服务和文本分类服务。不过，您可以使用两次不同的命令行，通过不同的端口分别启动 NER 服务和文本分类服务。

Flask 服务器服务

有时，多线程深度学习模型服务可能不适合使用 C/S 架构，此时可以使用简单的 HTTP 服务来替代，比如使用 Flask。 现在您可以参考代码：bert_base/server/simple_flask_http_service.py，构建您自己的简单 HTTP 服务器服务。

许可证

MIT。

以下教程为旧版本，未来将被移除。

如何训练

1. 下载 BERT 中文模型：

wget https://storage.googleapis.com/bert_models/2018_11_03/chinese_L-12_H-768_A-12.zip  

2. 创建输出目录

在项目路径下创建输出路径：

mkdir output

3. 训练模型

第一种方法

  python3 bert_lstm_ner.py   \
                  --task_name="NER"  \ 
                  --do_train=True   \
                  --do_eval=True   \
                  --do_predict=True
                  --data_dir=NERdata   \
                  --vocab_file=checkpoint/vocab.txt  \ 
                  --bert_config_file=checkpoint/bert_config.json \  
                  --init_checkpoint=checkpoint/bert_model.ckpt   \
                  --max_seq_length=128   \
                  --train_batch_size=32   \
                  --learning_rate=2e-5   \
                  --num_train_epochs=3.0   \
                  --output_dir=./output/result_dir/ 

或者替换 bert_lstm_ner.py 中的 BERT 路径和项目路径

if os.name == 'nt': #windows path config
   bert_path = '{your BERT model path}'
   root_path = '{project path}'
else: # linux path config
   bert_path = '{your BERT model path}'
   root_path = '{project path}'

然后运行：

python3 bert_lstm_ner.py

使用 BLSTM-CRF 或仅使用 CRF 进行解码！

只需修改 bert_lstm_ner.py 文件第 450 行，将 add_blstm_crf_layer 函数的参数 crf_only 设置为 True 或 False。

仅使用 CRF 输出层：

    blstm_crf = BLSTM_CRF(embedded_chars=embedding, hidden_unit=FLAGS.lstm_size, cell_type=FLAGS.cell, num_layers=FLAGS.num_layers,
                          dropout_rate=FLAGS.droupout_rate, initializers=initializers, num_labels=num_labels,
                          seq_length=max_seq_length, labels=labels, lengths=lengths, is_training=is_training)
    rst = blstm_crf.add_blstm_crf_layer(crf_only=True)

带有 CRF 输出层的 BiLSTM：

    blstm_crf = BLSTM_CRF(embedded_chars=embedding, hidden_unit=FLAGS.lstm_size, cell_type=FLAGS.cell, num_layers=FLAGS.num_layers,
                          dropout_rate=FLAGS.droupout_rate, initializers=initializers, num_labels=num_labels,
                          seq_length=max_seq_length, labels=labels, lengths=lengths, is_training=is_training)
    rst = blstm_crf.add_blstm_crf_layer(crf_only=False)

结果：

所有参数均使用默认值

在开发数据集上：

在测试数据集上：

实体级别结果：

最后两个结果是标签级别的结果，实体级别的结果在代码的第 796-798 行，这些结果将在预测过程中输出。 展示我的实体级别结果：

我的模型可以从百度网盘下载：
链接：https://pan.baidu.com/s/1GfDFleCcTv5393ufBYdgqQ 提取码：4cus
注意：我的模型是使用 crf_only 参数训练的。

在线预测

如果模型训练完成，只需运行以下命令：

python3 terminal_predict.py

将 NER 作为服务使用

服务

将 NER 作为服务使用非常简单，你只需在项目根目录下运行以下 Python 脚本：

python3 runs.py \ 
    -mode NER
    -bert_model_dir /home/macan/ml/data/chinese_L-12_H-768_A-12 \
    -ner_model_dir /home/macan/ml/data/bert_ner \
    -model_pd_dir /home/macan/ml/workspace/BERT_Base/output/predict_optimizer \
    -num_worker 8

你可以从以下链接下载我的 NER 模型：https://pan.baidu.com/s/1m9VcueQ5gF-TJc00sFD88w，提取码：guqq。将 ner_mode.pb 文件放入 model_pd_dir 目录，其他文件放入 ner_model_dir 目录，然后运行上述命令。

客户端

客户端可以参考 client_test.py 脚本中的使用方法。

import time
from client.client import BertClient

ner_model_dir = 'C:\workspace\python\BERT_Base\output\predict_ner'
with BertClient( ner_model_dir=ner_model_dir, show_server_config=False, check_version=False, check_length=False, mode='NER') as bc:
    start_t = time.perf_counter()
    str = '1月24日，新华社对外发布了中央对雄安新区的指导意见，洋洋洒洒1.2万多字，17次提到北京，4次提到天津，信息量很大，其实也回答了人们关心的很多问题。'
    rst = bc.encode([str])
    print('rst:', rst)
    print(time.perf_counter() - start_t)

注意：输入格式可以参考 BERT 作为服务的项目。欢迎提供更多的客户端语言代码，如 Java 等。

使用自己的数据进行训练

如果你想使用自己的数据训练 NER 模型，只需修改 get_labels 函数即可。

def get_labels(self):
        return ["O", "B-PER", "I-PER", "B-ORG", "I-ORG", "B-LOC", "I-LOC", "X", "[CLS]", "[SEP]"]

注意：“X”、“[CLS]”、“[SEP]”这三种标记是必须的，你只需将自己的数据标签替换到这个返回列表中即可。或者你可以使用下面的代码让程序自动从训练数据中获取标签：

def get_labels(self):
        # 通过读取train文件获取标签的方法会出现一定的风险。
        if os.path.exists(os.path.join(FLAGS.output_dir, 'label_list.pkl')):
            with codecs.open(os.path.join(FLAGS.output_dir, 'label_list.pkl'), 'rb') as rf:
                self.labels = pickle.load(rf)
        else:
            if len(self.labels) > 0:
                self.labels = self.labels.union(set(["X", "[CLS]", "[SEP]"]))
                with codecs.open(os.path.join(FLAGS.output_dir, 'label_list.pkl'), 'wb') as rf:
                    pickle.dump(self.labels, rf)
            else:
                self.labels = ["O", 'B-TIM', 'I-TIM', "B-PER", "I-PER", "B-ORG", "I-ORG", "B-LOC", "I-LOC", "X", "[CLS]", "[SEP]"]
        return self.labels

新更新

2019年1月30日：支持 pip 安装和命令行控制。

2019年1月30日：新增 NER 流程的服务/客户端功能。

2019年1月9日：添加代码以移除模型中的 Adam 相关参数，从而将模型文件大小从 1.3GB 减少至 400MB。

2019年1月3日：添加在线预测代码。

参考资料：

• 评估代码来自：https://github.com/guillaumegenthial/tf_metrics/blob/master/tf_metrics/__init__.py

• https://github.com/google-research/bert

• https://github.com/kyzhouhzau/BERT-NER

• https://github.com/zjy-ucas/ChineseNER

• https://github.com/hanxiao/bert-as-service

如有任何问题，请提交 Issue 或发送邮件至 ma_cancan@163.com。

BERT-BiLSTM-CRF-NER 快速上手指南

本项目基于 Google BERT 模型与 BiLSTM-CRF 网络，使用 TensorFlow 实现中文命名实体识别（NER）及文本分类任务。

1. 环境准备

• 操作系统：Linux / Windows / macOS
• Python 版本：仅支持 Python 3
• 核心依赖：TensorFlow, BERT-base
• 硬件建议：训练过程建议使用 GPU（原文作者使用 Tesla P40 24G），推理服务可在 CPU 运行但速度较慢。

2. 安装步骤

你可以选择通过 pip 直接安装，或克隆源码进行安装。

方式一：使用 pip 安装（推荐）

pip install bert-base==0.0.9 -i https://pypi.python.org/simple

方式二：源码安装

git clone https://github.com/macanv/BERT-BiLSTM-CRF-NER
cd BERT-BiLSTM-CRF-NER/
python3 setup.py install

注意：如果不希望安装到系统环境，只需克隆项目，直接参考 run.py 文件即可进行模型训练或服务启动。

前置数据准备

在运行前，请确保已下载以下资源：

1. Google BERT 中文预训练模型：包含 bert_model.ckpt, bert_config.json, vocab.txt。
   • 下载地址：Google BERT GitHub 或国内镜像。
2. 训练数据集：格式为每行一个字符和一个标签，句子间用空行分隔。
   • 示例格式：

     海 O
     钓 O
     厦 B-LOC
     门 I-LOC
     

3. 基本使用

3.1 训练 NER 模型

使用命令行工具 bert-base-ner-train 开始训练。必须指定数据目录、输出目录及 BERT 模型相关文件路径。

bert-base-ner-train \
    -data_dir {your dataset dir}\
    -output_dir {training output dir}\
    -init_checkpoint {Google BERT model dir}/bert_model.ckpt\
    -bert_config_file {Google BERT model dir}/bert_config.json \
    -vocab_file {Google BERT model dir}/vocab.txt

可选参数：

• -label_list：指定标签列表。可以用逗号分隔（如 'B-LOC,I-LOC'）或指向一个每行一个标签的文件（如 labels.txt）。若不指定，程序将自动从训练数据中提取。

训练完成后，模型检查点将保存在 -output_dir 指定的目录中。

3.2 启动 NER 服务 (Server-Client 模式)

项目支持将模型部署为高性能服务，类似 bert-as-service。

启动服务端：

bert-base-serving-start \
    -model_dir {your trained ner model dir} \
    -bert_model_dir {Google BERT model dir}\
    -model_pb_dir {path to save frozen pb model}\
    -mode NER

• mode: 设为 NER 启动命名实体识别服务；设为 CLASS 启动文本分类服务。

客户端调用示例 (Python)：

import time
from bert_base.client import BertClient

# 连接服务端，模式设为 NER
with BertClient(show_server_config=False, check_version=False, check_length=False, mode='NER') as bc:
    start_t = time.perf_counter()
    
    # 待识别文本
    text = '1 月 24 日，新华社对外发布了中央对雄安新区的指导意见，洋洋洒洒 1.2 万多字，17 次提到北京，4 次提到天津。'
    
    # 获取结果
    rst = bc.encode([text])
    
    print('result:', rst)
    print('time used:', time.perf_counter() - start_t)

自定义分词调用： 如果希望客户端自行分词后发送，可使用 is_tokenized=True：

rst = bc.encode([list(text)], is_tokenized=True)

3.3 轻量级 Flask 服务

如果不适合使用 C/S 架构，项目也提供了简单的 HTTP 服务实现。 参考代码位置：bert_base/server/simple_flask_http_service.py，可根据需求修改并启动 HTTP 服务。