Tensorflow - 命名实体识别

每个文件夹都包含一个__独立的__、__简短（约100行Tensorflow代码）__的main.py脚本，该脚本使用tf.estimator和tf.data实现了一个基于神经网络的命名实体识别（NER）模型。

这些实现__简单、高效且处于当前最先进水平__，因为它们的表现__至少与论文中报告的结果相当__。最佳模型的平均F1分数达到91.21。据我所知，目前网络上已有的实现要么过于复杂、要么已经过时，而且并不总是准确的（包括我的先前工作）。本仓库旨在解决这一问题，希望能让人们快速测试和验证新想法。

脚本lstm_crf/main.py也可以被视为一个__关于Tensorflow高级API tf.estimator和tf.data在自然语言处理中的简单入门__。这里有一篇更详细的讨论，介绍了这个实现以及tf.estimator和tf.data的使用

安装

你需要__Python 3__——如果你还没有切换到Python 3，现在就去做吧。

你还需要安装tf_metrics（Tensorflow的多分类精确率、召回率和F1指标）。

pip install git+https://github.com/guillaumegenthial/tf_metrics.git

或者

git clone https://github.com/guillaumegenthial/tf_metrics.git
cd tf_metrics
pip install .

数据格式

请遵循data/example。

1. 对于name在 {train, testa, testb}中，创建文件 {name}.words.txt 和 {name}.tags.txt，每行包含一个句子，每个单词/标签之间用空格分隔。我建议使用IOBES标注方案。
2. 创建文件 vocab.words.txt、vocab.tags.txt 和 vocab.chars.txt，每行包含一个标记。
3. 创建一个glove.npz文件，其中包含一个形状为(size_vocab_words, 300)的数组embeddings，使用GloVe 840B向量和np.savez_compressed生成。

从{name}.words.txt和{name}.tags.txt文件构建vocab和glove.npz文件的脚本示例已在data/example中提供。详见：

1. build_vocab.py
2. build_glove.py

如果你只是想开始使用，一旦你创建了{name}.words.txt和{name}.tags.txt文件，只需执行：

cd data/example
make download-glove
make build

（这些命令将构建__示例__数据集）

请注意，示例数据集仅用于调试目的，对训练实际模型帮助不大

开始使用

一旦你生成了所有所需的数据文件，只需选择其中一个main.py脚本。然后，在main.py顶部修改DATADIR变量。

要训练、评估并将预测结果写入文件，运行：

cd models/lstm_crf
python main.py

（如果未在main.py中更改DATADIR，这些命令将在__示例__数据集上训练一个双向LSTM + CRF模型。）

每个模型子目录都包含了操作说明的详细分解。

模型

灵感来源于以下论文：

• 用于序列标注的双向LSTM-CRF模型 by Huang, Xu and Yu
• 用于命名实体识别的神经架构 by Lample et al.
• 通过双向LSTM-CNNs-CRF实现端到端序列标注 by Ma et Hovy

你也可以阅读这篇博客文章。

为了避免任何不希望的偏移（解释见这些CS224N笔记），词向量__不会重新训练__。

这些模型在CoNLL2003共享任务上进行了测试。

训练时间仅供参考。是在一台2016年款13英寸MBPro 3.3 GHz Intel Core i7上测得的。

对于每个模型，我们进行5次实验：

• 仅在train上训练
• 在testa上进行__早停__
• 根据testa上的表现（token-level F1）选出5次中的最佳
• 报告__F1分数的均值和标准差__（来自官方conlleval脚本的entity-level F1）
• 在testb上选出最佳作为参考（但不应用于比较，因为这只是对最终测试集的过拟合）

此外，我们还进行另外5次实验，保留权重的__指数移动平均（EMA）__（用于评估），并报告最佳F1、均值/标准差。

正如你所见，没有明确的统计证据表明两种基于字符的模型中哪一种更好。EMA似乎在大多数情况下都有帮助。另外，考虑到模型的复杂性和性能差距相对较小（0.6 F1），使用lstm_crf模型可能是大多数具体应用的安全选择。

---

lstm_crf

架构

1. GloVe 840B向量
2. 双向LSTM
3. CRF

相关论文 用于序列标注的双向LSTM-CRF模型 by Huang, Xu and Yu

训练时间 ~ 20分钟

	train	testa	testb	论文，testb
最佳	98.45	93.81	90.61	90.10
最佳（EMA）	98.82	94.06	90.43
均值 ± 标准差	98.85 ± 0.22	93.68 ± 0.12	90.42 ± 0.10
均值 ± 标准差（EMA）	98.71 ± 0.47	93.81 ± 0.24	90.50 ± 0.21
绝对最佳			90.61
绝对最佳（EMA）			90.75

---

chars_lstm_lstm_crf

架构

1. GloVe 840B向量
2. 字符嵌入
3. 字符双向LSTM
4. 双向LSTM
5. CRF

相关论文 用于命名实体识别的神经架构 by Lample et al.

训练时间 ~ 35分钟

	train	testa	testb	论文，testb
最佳	98.81	94.36	91.02	90.94
最佳（EMA）	98.73	94.50	91.14
均值 ± 标准差	98.83 ± 0.27	94.02 ± 0.26	91.01 ± 0.16
均值 ± 标准差（EMA）	98.51 ± 0.25	94.20 ± 0.28	91.21 ± 0.05
绝对最佳			91.22
绝对最佳（EMA）			91.28

---

chars_conv_lstm_crf

架构

1. GloVe 840B 向量
2. 字符嵌入
3. 字符一维卷积与最大池化
4. 双向 LSTM
5. CRF

相关论文 通过双向 LSTM-CNNs-CRF 实现端到端序列标注，作者为 Ma 和 Hovy

训练时间 ~ 35 分钟

	train	testa	testb	论文中的 testb
最佳	99.16	94.53	91.18	91.21
最佳（EMA）	99.44	94.50	91.17
均值 ± 标准差	98.86 ± 0.30	94.10 ± 0.26	91.20 ± 0.15
均值 ± 标准差（EMA）	98.67 ± 0.39	94.29 ± 0.17	91.13 ± 0.11
绝对最佳			91.42
绝对最佳（EMA）			91.22

tf_ner 快速上手指南

tf_ner 是一个基于 TensorFlow 的命名实体识别（NER）开源工具集。它提供了多个独立、简洁（约 100 行代码）的模型实现，利用 tf.estimator 和 tf.data 高级 API 构建。该工具包含 Bi-LSTM+CRF 等主流架构，在 CoNLL2003 数据集上平均 F1 分数可达 91.21%，适合快速验证新想法或作为学习 TensorFlow NLP 应用的入门项目。

环境准备

• 操作系统：Linux / macOS / Windows
• Python 版本：必须使用 Python 3
• 核心依赖：
  • TensorFlow (支持 tf.estimator 和 tf.data 的版本)
  • tf_metrics (用于计算多分类 Precision, Recall, F1)
  • NumPy
  • GloVe 词向量文件 (840B vectors)

安装步骤

1. 安装 tf_metrics

该项目依赖自定义的评估指标库 tf_metrics。你可以选择通过 pip 直接安装或源码安装：

pip install git+https://github.com/guillaumegenthial/tf_metrics.git

或者克隆源码安装：

git clone https://github.com/guillaumegenthial/tf_metrics.git
cd tf_metrics
pip install .

提示：如果下载速度较慢，可尝试配置国内 pip 镜像源（如清华源）： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple git+https://github.com/guillaumegenthial/tf_metrics.git

2. 获取项目代码

克隆 tf_ner 仓库到本地：

git clone https://github.com/guillaumegenthial/tf_ner.git
cd tf_ner

3. 准备数据

项目要求特定的数据格式。如果你只想快速测试流程，可以使用内置的示例脚本生成调试数据（注意：示例数据仅用于调试，不适合训练正式模型）。

进入示例数据目录并执行：

cd data/example
make download-glove
make build

上述命令会自动下载 GloVe 向量并构建 vocab 及 glove.npz 文件。

若需使用自己的数据集，请参照 data/example 格式准备以下文件：

• {name}.words.txt 和 {name}.tags.txt：每行一个句子，词与标签用空格分隔（推荐 IOBES 标注体系）。
• vocab.words.txt, vocab.tags.txt, vocab.chars.txt：每行一个 token。
• glove.npz：形状为 (vocab_size, 300) 的压缩数组。

基本使用

完成数据准备后，选择一个模型目录即可开始训练。以下以经典的 Bi-LSTM + CRF 模型为例：

1. 进入模型目录：

   cd models/lstm_crf
   

2. （可选）修改 main.py 顶部的 DATADIR 变量，指向你的实际数据目录。若未修改，默认使用 data/example 下的示例数据。

3. 运行训练、评估及预测脚本：

   python main.py
   

执行后，程序将自动：

• 加载数据和预训练词向量
• 训练模型（示例数据约需几分钟，完整数据集约 20-35 分钟）
• 在验证集上进行早停（Early Stopping）
• 输出测试结果并保存预测文件

其他可用模型

项目还提供了结合字符级特征的进阶模型，使用方法同上，只需切换目录：

• models/chars_lstm_lstm_crf：基于字符级 Bi-LSTM 特征
• models/chars_conv_lstm_crf：基于字符级 CNN 特征

对于大多数实际应用，推荐使用 lstm_crf 模型，它在性能和复杂度之间取得了良好的平衡。