使用 BERT 进行中文命名实体识别

用于中文命名实体识别的 BERT 模型。

更新：其他一些可供参考的方法，包括 Biaffine、GlobalPointer 等：examples

数据集列表

1. cner: datasets/cner
2. CLUENER: https://github.com/CLUEbenchmark/CLUENER

模型列表

1. BERT+Softmax
2. BERT+CRF
3. BERT+Span

环境要求

1. PyTorch 版本 1.1.0 ≤ < 1.5.0
2. CUDA 9.0
3. Python 3.6+

输入格式

输入格式（优先使用 BIO 标签体系），每行为一个字符及其标签。句子之间用空行分隔。

美	B-LOC
国	I-LOC
的	O
华	B-PER
莱	I-PER
士	I-PER

我	O
跟	O
他	O

运行代码

1. 修改 run_ner_xxx.py 或 run_ner_xxx.sh 中的配置信息。
2. 执行 sh scripts/run_ner_xxx.sh。

注意：模型文件结构如下：

├── prev_trained_model
|  └── bert_base
|  |  └── pytorch_model.bin
|  |  └── config.json
|  |  └── vocab.txt
|  |  └── ......

CLUENER 结果

BERT 在 dev 集上的整体表现：

	实体准确率	实体召回率	实体 F1 分数
BERT+Softmax	0.7897	0.8031	0.7963
BERT+CRF	0.7977	0.8177	0.8076
BERT+Span	0.8132	0.8092	0.8112
BERT+Span+adv	0.8267	0.8073	0.8169
BERT-small(6 层)+Span+kd	0.8241	0.7839	0.8051
BERT+Span+focal_loss	0.8121	0.8008	0.8064
BERT+Span+label_smoothing	0.8235	0.7946	0.8088

ALBERT 用于 CLUENER

ALBERT 在 dev 集上的整体表现：

模型	版本	实体准确率	实体召回率	实体 F1	每轮训练时间
albert	base_google	0.8014	0.6908	0.7420	0.75x
albert	large_google	0.8024	0.7520	0.7763	2.1x
albert	xlarge_google	0.8286	0.7773	0.8021	6.7x
bert	google	0.8118	0.8031	0.8074	-----
albert	base_bright	0.8068	0.7529	0.7789	0.75x
albert	large_bright	0.8152	0.7480	0.7802	2.2x
albert	xlarge_bright	0.8222	0.7692	0.7948	7.3x

Cner 结果

BERT 在 dev(test) 集上的整体表现：

	实体准确率	实体召回率	实体 F1 分数
BERT+Softmax	0.9586(0.9566)	0.9644(0.9613)	0.9615(0.9590)
BERT+CRF	0.9562(0.9539)	0.9671(0.9644)	0.9616(0.9591)
BERT+Span	0.9604(0.9620)	0.9617(0.9632)	0.9611(0.9626)
BERT+Span+focal_loss	0.9516(0.9569)	0.9644(0.9681)	0.9580(0.9625)
BERT+Span+label_smoothing	0.9566(0.9568)	0.9624(0.9656)	0.9595(0.9612)

BERT-NER-Pytorch 快速上手指南

本指南帮助开发者快速使用 BERT-NER-Pytorch 进行中文命名实体识别（NER）任务。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐，需支持 CUDA)
• Python 版本: 3.6 或更高
• PyTorch 版本: 1.1.0 <= PyTorch < 1.5.0
• CUDA 版本: 9.0
• 依赖库: 建议通过国内镜像源安装基础依赖

pip install torch==1.4.0 torchvision==0.5.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

注意：由于项目对 PyTorch 版本有严格限制（< 1.5.0），请务必确认版本兼容性，否则可能导致运行错误。

安装步骤

1. 克隆项目代码

   git clone https://github.com/lonePatient/BERT-NER-Pytorch.git
   cd BERT-NER-Pytorch
   

2. 准备预训练模型 下载中文 BERT 预训练模型（如 bert-base-chinese），并按以下目录结构放置：

   ├── prev_trained_model
   |  └── bert_base
   |  |  └── pytorch_model.bin
   |  |  └── config.json
   |  |  └── vocab.txt
   

   注：可从 Hugging Face 或国内镜像站（如 ModelScope）下载模型文件。

3. 准备数据集 将数据集放入 datasets 目录。支持的数据集包括：

   • cner: 放入 datasets/cner
   • CLUENER: 从 GitHub 下载后放入对应目录

基本使用

1. 配置参数

修改运行脚本中的配置文件。你可以直接编辑 Python 文件或 Shell 脚本：

• run_ner_xxx.py (Python 配置)
• scripts/run_ner_xxx.sh (Shell 配置)

主要需要修改的参数包括：

• data_dir: 数据集路径
• model_name_or_path: 预训练模型路径 (例如 prev_trained_model/bert_base)
• output_dir: 模型输出保存路径
• model_type: 选择模型架构 (softmax, crf, span 等)

2. 数据格式

确保输入数据符合 BIOS 标注格式，每个字符及其标签占一行，句子之间用空行分隔：

美	B-LOC
国	I-LOC
的	O
华	B-PER
莱	I-PER
士	I-PER

我	O
跟	O
他	O

3. 启动训练

执行对应的 Shell 脚本即可开始训练。例如，使用 BERT+CRF 模型在 CLUENER 数据集上训练：

sh scripts/run_ner_crf.sh

训练完成后，模型权重和评估结果将保存在配置的 output_dir 中。根据官方测试，BERT+Span+adv 在 CLUENER 开发集上可达到 0.8169 的 F1 分数。