一个用于中文命名实体识别的简单 BiLSTM-CRF 模型

本仓库包含构建一个非常简单的基于字符的 BiLSTM-CRF 序列标注模型的代码，用于中文命名实体识别任务。该模型的目标是识别三种类型的命名实体：人名（PERSON）、地名（LOCATION）和组织名（ORGANIZATION）。

此代码适用于 Python 3 和 TensorFlow 1.2。以下仓库 https://github.com/guillaumegenthial/sequence_tagging 对我帮助很大。

模型

该模型与论文 [1] 和 [2] 中提出的模型类似。其结构如下图所示：

对于一句中文，句子中的每个字符都会被赋予一个标签，该标签属于集合 {O, B-PER, I-PER, B-LOC, I-LOC, B-ORG, I-ORG}。

第一层，即 查找层，旨在将每个字符的独热编码表示转换为 字符嵌入。在本代码中，我随机初始化了嵌入矩阵。未来可以加入一些语言学知识，例如进行分词并使用预训练的词级嵌入，然后将字符嵌入与相应词的词嵌入相结合。此外，还可以通过结合低层次特征来获取字符嵌入（详情请参阅论文 [2] 的第 4.1 节和论文 [3] 的第 3.3 节）。

第二层，即 BiLSTM 层，能够高效地利用 过去和未来的输入信息 并自动提取特征。

第三层，即 CRF 层，为句子中的每个字符打上标签。如果使用 Softmax 层进行标注，可能会得到语法不正确的标签序列，因为 Softmax 层会独立地为每个位置打标签。我们知道“I-LOC”不能紧跟在“B-PER”之后，但 Softmax 并不知道这一点。相比之下，CRF 层可以利用 句子级别的标签信息，并对每两个不同标签之间的转移行为进行建模。

数据集

	句子数	PERSON 数	LOCATION 数	ORGANIZATION 数
训练集	46364	17615	36517	20571
测试集	4365	1973	2877	1331

数据集看起来像是 MSRA 语料库 的一部分。我从 ./data_path/original/link.txt 中提供的链接下载了该数据集。

数据文件

目录 ./data_path 包含：

• 预处理后的数据文件，train_data 和 test_data
• 一个词汇表文件 word2id.pkl，它将每个字符映射到一个唯一的 ID

关于生成词汇表文件，请参考 data.py 中的代码。

数据格式

每个数据文件应采用以下格式：

中	B-LOC
国	I-LOC
很	O
大	O

句	O
子	O
结	O
束	O
是	O
空	O
行	O

如果您想使用自己的数据集，请：

• 将您的语料库转换为上述格式
• 生成一个新的词汇表文件

运行方法

训练

python main.py --mode=train

测试

python main.py --mode=test --demo_model=1521112368

请将参数 --demo_model 设置为您想要测试的模型。1521112368 是我训练好的模型。

官方评估工具用于计算指标：这里（点击“Instructions”）

我的测试结果：

P	R	F	F (PER)	F (LOC)	F (ORG)
0.8945	0.8752	0.8847	0.8688	0.9118	0.8515

演示

python main.py --mode=demo --demo_model=1521112368

您可以输入一句中文，模型将返回识别结果：

参考文献

[1] 用于序列标注的双向 LSTM-CRF 模型

[2] 用于命名实体识别的神经网络架构

[3] 结合部首特征的基于字符的 LSTM-CRF 模型用于中文命名实体识别

[4] https://github.com/guillaumegenthial/sequence_tagging

zh-NER-TF 快速上手指南

zh-NER-TF 是一个基于字符的 BiLSTM-CRF 序列标注模型，专为中文命名实体识别（NER）任务设计。该模型能够识别三种类型的实体：人名 (PERSON)、地名 (LOCATION) 和 机构名 (ORGANIZATION)。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux / macOS / Windows
• Python 版本：Python 3.x
• 深度学习框架：TensorFlow 1.2
  • 注意：本项目基于较旧的 TensorFlow 1.2 版本开发，建议使用虚拟环境隔离依赖。
• 前置依赖：

  pip install tensorflow==1.2.0
  # 其他常见依赖如 numpy, pickle 等通常已包含在标准库或 TF 依赖中
  

安装步骤

1. 克隆仓库 将项目代码下载到本地：

   git clone <repository_url>
   cd zh-NER-TF
   

   (注：请将 <repository_url> 替换为实际的 GitHub 仓库地址)

2. 数据准备 项目目录下的 ./data_path 文件夹应包含预处理后的数据文件 (train_data, test_data) 和词汇表文件 (word2id.pkl)。

   • 如果文件夹为空，请参考 data.py 中的逻辑生成词汇表，或从原作者提供的链接下载数据集（参考 README 中的 MSRA 语料库链接）。
   • 若使用自定义数据集，需将其转换为如下格式（字符与标签由制表符分隔，句子间用空行分隔）：

     中    B-LOC
     国    I-LOC
     很    O
     大    O
     
     句    O
     子    O
     ...
     

基本使用

1. 训练模型

使用默认配置开始训练模型：

python main.py --mode=train

训练完成后，会在目录下生成包含时间戳的模型文件夹。

2. 测试模型

使用训练好的模型进行测试评估。请将 --demo_model 参数替换为您实际生成的模型时间戳（例如 1521112368）：

python main.py --mode=test --demo_model=1521112368

模型将在测试集上输出精确率 (P)、召回率 (R) 和 F1 值。

3. 交互式演示 (Demo)

输入单句中文进行实时实体识别演示：

python main.py --mode=demo --demo_model=1521112368

运行后，终端将提示您输入中文句子，模型会立即返回识别结果（包含实体类型及位置标记）。