使用 TensorFlow 进行命名实体识别

此仓库使用 TensorFlow 实现了一个 NER 模型（LSTM + CRF + 字符嵌入）。

这里有一个更好的实现，它使用了 tf.data 和 tf.estimator，并达到了 91.21 的 F1 分数

达到了最先进的性能（F1 分数在 90 到 91 之间）。

请查看博客文章

任务

给定一个句子，为每个词打上标签。一个经典的应用是命名实体识别（NER）。以下是一个例子：

John   lives in New   York
B-PER  O     O  B-LOC I-LOC

模型

类似于 Lample 等人 和 Ma 和 Hovy。

• 将字符嵌入上的双向 LSTM 的最终状态拼接起来，得到每个词的基于字符的表示。
• 将这个表示与标准的词向量表示（这里是 GloVe）拼接。
• 对每个句子运行一个双向 LSTM，以提取每个词的上下文表示。
• 使用线性链条件随机场（CRF）进行解码。

快速入门

1. 使用以下命令下载 GloVe 向量：

make glove

或者，你也可以手动从这里下载，并更新 config.py 中的 glove_filename 条目。你还可以通过将 model/config.py 中的 use_pretrained 条目改为 False 来选择不加载预训练的词向量。

2. 构建训练数据、训练并评估模型：

make run

详细信息

以下是 make run 中执行的命令分解：

1. [不要错过这一步] 根据 model/config.py 中的配置，从数据中构建词汇表，并提取修剪后的 GloVe 向量。

python build_data.py

2. 训练模型：

python train.py

3. 评估并交互式地使用模型：

python evaluate.py

数据迭代器和工具位于 model/data_utils.py 中，而包含训练和测试流程的模型位于 model/ner_model.py 中。

在 NVidia Tesla K80 上，使用字符嵌入和 CRF 在 CoNLL 训练集上每轮训练耗时约 110 秒。

训练数据

训练数据必须采用以下格式（与 CoNLL2003 数据集相同）。

提供了一个默认的测试文件，以帮助你快速入门。

John B-PER
lives O
in O
New B-LOC
York I-LOC
. O

This O
is O
another O
sentence

当你准备好自己的数据文件后，可以修改 config.py 中的参数，例如：

# 数据集
dev_filename = "data/coNLL/eng/eng.testa.iob"
test_filename = "data/coNLL/eng/eng.testb.iob"
train_filename = "data/coNLL/eng/eng.train.iob"

许可证

本项目根据 Apache 2.0 许可证授权（与 TensorFlow 及其衍生作品相同）。如果用于研究目的，欢迎引用。

Sequence Tagging 快速上手指南

本指南基于 TensorFlow 实现命名实体识别（NER）模型，采用 Bi-LSTM + CRF + 字符嵌入架构，在 CoNLL2003 数据集上 F1 分数可达 90-91。

环境准备

• 系统要求：Linux / macOS / Windows (需配置好 TensorFlow 环境)
• 核心依赖：
  • Python 3.x
  • TensorFlow (推荐 1.x 版本，因本项目基于 tf.estimator 之前的 API)
  • NumPy
• 硬件建议：推荐使用 NVIDIA GPU (如 Tesla K80) 以加速训练，单 epoch 约需 110 秒。

安装步骤

1. 克隆项目代码

   git clone https://github.com/guillaumegenthial/sequence_tagging.git
   cd sequence_tagging
   

2. 安装 Python 依赖 如果项目中包含 requirements.txt，请执行：

   pip install -r requirements.txt
   

   若无该文件，请确保已安装 tensorflow, numpy 等基础库。

3. 下载预训练词向量 (GloVe) 执行以下命令自动下载 GloVe 向量：

   make glove
   

   注：若下载速度慢，可手动从 Stanford GloVe 下载，解压后修改 config.py 中的 glove_filename 路径。

基本使用

1. 构建数据与训练模型

执行以下命令将自动完成数据词汇表构建、裁剪 GloVe 向量、训练及评估流程：

make run

分步执行说明（如需自定义流程）：

• 构建数据：根据 model/config.py 配置处理数据并提取向量。

  python build_data.py
  

• 开始训练：

  python train.py
  

• 评估与交互：

  python evaluate.py
  

2. 数据格式规范

训练数据需遵循 CoNLL2003 格式（每行一个单词及其标签，句子间用空行分隔）：

John B-PER
lives O
in O
New B-LOC
York I-LOC
. O

This O
is O
another O
sentence O

3. 配置自定义数据集

准备好数据文件后，编辑 config.py 指定文件路径：

# dataset
dev_filename = "data/coNLL/eng/eng.testa.iob"
test_filename = "data/coNLL/eng/eng.testb.iob"
train_filename = "data/coNLL/eng/eng.train.iob"

提示：若不使用预训练词向量，可在 model/config.py 中将 use_pretrained 设置为 False。