为了获得更好的性能，您可以尝试 NLPGNN，详情请参见 NLPGNN。

BERT-NER 版本 2

使用 Google 的 BERT 进行命名实体识别（以 CoNLL-2003 数据集为例）。

原始版本（详见 old_version）包含一些硬编码，并且缺乏相应的注释，这使得理解起来不太方便。因此，在这个更新的版本中，我们在数据预处理和层设计方面提出了一些新的思路和技巧，可以帮助您快速实现模型的微调（您只需尝试修改 crf_layer 或 softmax_layer 即可）。

文件夹说明：

BERT-NER
|____ bert                          # 需要从[这里](https://github.com/google-research/bert)获取
|____ cased_L-12_H-768_A-12	    # 需要从[这里](https://storage.googleapis.com/bert_models/2018_10_18/cased_L-12_H-768_A-12.zip)下载
|____ data		            # 训练数据
|____ middle_data	            # 中间数据（标签 ID 映射）
|____ output			    # 输出（最终模型、预测结果）
|____ BERT_NER.py		    # 主代码
|____ conlleval.pl		    # 评估代码
|____ run_ner.sh    		    # 运行模型并评估结果

使用方法：

bash run_ner.sh

run_ner.sh 中的内容：

python BERT_NER.py\
    --task_name="NER"  \
    --do_lower_case=False \
    --crf=False \
    --do_train=True   \
    --do_eval=True   \
    --do_predict=True \
    --data_dir=data   \
    --vocab_file=cased_L-12_H-768_A-12/vocab.txt  \
    --bert_config_file=cased_L-12_H-768_A-12/bert_config.json \
    --init_checkpoint=cased_L-12_H-768_A-12/bert_model.ckpt   \
    --max_seq_length=128   \
    --train_batch_size=32   \
    --learning_rate=2e-5   \
    --num_train_epochs=3.0   \
    --output_dir=./output/result_dir

perl conlleval.pl -d '\t' < ./output/result_dir/label_test.txt

注意： 根据这篇论文，建议使用大小写敏感的模型。CoNLL-2003 数据集和 Perl 脚本来自这里

结果：（在测试集上）

参数设置：

• do_lower_case=False
• num_train_epochs=4.0
• crf=False

准确率：98.15%；精确率：90.61%；召回率：88.85%；F1 分数：89.72
              LOC：精确率：91.93%；召回率：91.79%；F1 分数：91.86  1387
             MISC：精确率：83.83%；召回率：78.43%；F1 分数：81.04  668
              ORG：精确率：87.83%；召回率：85.18%；F1 分数：86.48  1191
              PER：精确率：95.19%；召回率：94.83%；F1 分数：95.01  1311

结果说明：

在这里我仅使用了默认参数，但正如 Google 的论文所说，0.2% 的误差是合理的（报告为 92.4%）。或许还需要在上述模型中加入一些技巧。

参考文献：

[1] https://arxiv.org/abs/1810.04805

[2] https://github.com/google-research/bert

BERT-NER 快速上手指南

本指南基于 BERT-NER Version 2，帮助用户快速使用 Google BERT 模型在 CoNLL-2003 数据集上进行命名实体识别（NER）的微调与评估。

环境准备

系统要求

• 操作系统: Linux 或 macOS (Windows 需配置相应 Python 环境)
• Python: 建议 Python 3.6+
• 框架: TensorFlow 1.x (根据原版 BERT 代码要求)
• 其他依赖: perl (用于运行评估脚本 conlleval.pl)

前置依赖与数据下载

在开始之前，请确保已安装必要的 Python 库（如 tensorflow, numpy 等），并手动下载以下资源到项目根目录：

1. BERT 源码:

   git clone https://github.com/google-research/bert.git
   # 将克隆后的文件夹重命名为 bert 或按项目结构调整
   

2. 预训练模型 (推荐使用 cased 版本): 下载地址：cased_L-12_H-768_A-12.zip 国内加速提示：若下载缓慢，可尝试使用国内镜像站或代理加速下载。

   解压后，确保文件夹名为 cased_L-12_H-768_A-12，其中应包含：

   • vocab.txt
   • bert_config.json
   • bert_model.ckpt (及相关 checkpoint 文件)

3. 数据集: 从 CoNLL-2003 NER 获取训练数据，放入 data 文件夹中。

安装步骤

本项目无需复杂的 pip install 安装过程，主要为文件结构整理。请确保项目目录结构如下：

BERT-NER
|____ bert                          # BERT 源码目录
|____ cased_L-12_H-768_A-12	        # 预训练模型目录
|____ data		                    # 训练数据目录
|____ middle_data		            # (运行时自动生成) 中间数据
|____ output			            # (运行时自动生成) 输出结果
|____ BERT_NER.py		            # 主代码
|____ conlleval.pl		            # 评估脚本
|____ run_ner.sh    		        # 运行脚本

注意：如果缺少 middle_data 或 output 文件夹，脚本运行时通常会自动创建，也可手动创建以避免权限问题。

基本使用

完成上述准备工作后，只需执行一条命令即可启动训练、评估和预测流程。

运行命令

在项目根目录下执行：

bash run_ner.sh

脚本详解

该脚本内部调用了以下核心命令，您可以根据需要修改 run_ner.sh 中的参数：

python BERT_NER.py\
    --task_name="NER"  \
    --do_lower_case=False \
    --crf=False \
    --do_train=True   \
    --do_eval=True   \
    --do_predict=True \
    --data_dir=data   \
    --vocab_file=cased_L-12_H-768_A-12/vocab.txt  \
    --bert_config_file=cased_L-12_H-768_A-12/bert_config.json \
    --init_checkpoint=cased_L-12_H-768_A-12/bert_model.ckpt   \
    --max_seq_length=128   \
    --train_batch_size=32   \
    --learning_rate=2e-5   \
    --num_train_epochs=3.0   \
    --output_dir=./output/result_dir

perl conlleval.pl -d '\t' < ./output/result_dir/label_test.txt

关键参数说明

• --do_lower_case=False: 推荐使用 cased 模型时设置为 False。
• --crf=False: 默认使用 Softmax 层，若需使用 CRF 层可改为 True 并修改对应代码逻辑。
• --num_train_epochs: 训练轮数，默认示例为 3.0，论文复现建议可尝试 4.0。

运行结束后，查看 ./output/result_dir 目录下的预测结果及控制台输出的评估指标（Precision, Recall, F1-score）。