BiLSTM+CRF 用于序列标注任务

---

🚀🚀🚀 一个基于 TensorFlow 的 BiLSTM+CRF 模型实现，用于序列标注任务。

项目特点

• 基于 TensorFlow API。
• 高度 可扩展；所有内容均可 配置。
• 模块化设计，结构清晰。
• 对初学者非常友好。
• 易于自定义和二次开发。

---

任务与模型

序列标注 是自然语言处理中对序列预测任务建模的一种典型方法。常见的序列标注任务包括：

1. 词性标注 (POS Tagging)，
2. 短语切分 (Chunking)，
3. 命名实体识别 (NER)，
4. 标点符号恢复，
5. 句子边界检测，
6. 作用域检测，
7. 中文分词 (CWG)，
8. 语义角色标注 (SRL)，
9. 口语理解，
10. 事件抽取，
11. 等等……

以 命名实体识别（NER）任务为例：

斯坦福大学位于加利福尼亚州。
B-ORG    I-ORG      O       O  B-LOC      O

这里需要提取两个实体：斯坦福大学 和 加利福尼亚州。具体来说，文本中的每个 token 都会打上相应的 label。例如：{token:斯坦福, label:B-ORG}。序列标注模型的目标是根据给定的 token 序列，预测出对应的 label 序列。

由 Lample 等人, 2016 提出的 BiLSTM+CRF，迄今为止是序列标注任务中最经典、最稳定的神经网络模型。

---

项目

功能支持

• 配置所有设置：

  • 运行模式：[train/test/interactive_predict/api_service]
  • 数据集（输入/输出）：
  • 标注方案：
    • [BIO/BIESO]
    • [PER|LOC|ORG]
    • ...
  • 模型配置：
    • 编码器：BGU/Bi-LSTM，层数，双向/单向
    • 解码器：crf/softmax，
    • 嵌入层次：字符/单词，
    • 是否使用自注意力机制
    • 超参数，
    • ...
  • 训练设置：
    • 监控指标：[精确率、召回率、F1 分数、准确率]
    • 优化器：GD/Adagrad/AdaDelta/RMSprop/Adam
  • 测试设置，
  • API 服务设置，

• 记录所有日志

• 提供 Web 应用演示，便于展示

• 面向对象设计：BILSTM_CRF、Datasets、Configer、utils

• 模块化设计，结构清晰，易于二次开发。

更多内容请参阅 HandBook。

需求

• python >=3.5
• tensorflow >=1.8
• numpy
• pandas
• Django==1.11.8
• jieba
• ...

安装

选项 A:

直接下载仓库使用。

git clone https://github.com/scofield7419/sequence-labeling-BiLSTM-CRF.git
pip install -r requirements.txt

选项 B: 待开发

将 BiLSTM-CRF 包作为模块安装。

pip install BiLSTM-CRF

使用方法：

from BiLSTM-CRF.engines.BiLSTM_CRFs import BiLSTM_CRFs as BC
from BiLSTM-CRF.engines.DataManager import DataManager
from BiLSTM-CRF.engines.Configer import Configer
from BiLSTM-CRF.engines.utils import get_logger

...

config_file = r'/home/projects/system.config'
configs = Configer(config_file)

logger = get_logger(configs.log_dir)
configs.show_data_summary(logger) # 可选

dataManager = DataManager(configs, logger)
model = BC(configs, logger, dataManager)
        
###### 模式 == 'train':
model.train()

###### 模式 == 'test':
model.test()

###### 模式 == '单句预测':
sentence_tokens, entities, entities_type, entities_index = model.predict_single(sentence)
if configs.label_level == 1:
    print("\n提取的实体:\n %s\n\n" % ("\n".join(entities)))
elif configs.label_level == 2:
    print("\n提取的实体:\n %s\n\n" % ("\n".join([a + "\t(%s)" % b for a, b in zip(entities, entities_type)])))


###### 模式 == 'API 服务 Web 应用':
cmd_new = r'cd demo_webapp; python manage.py runserver %s:%s' % (configs.ip, configs.port)
res = os.system(cmd_new)

在浏览器中打开 `ip:port`。

模块结构

├── main.py
├── system.config
├── HandBook.md
├── README.md
│
├── checkpoints
│   ├── BILSTM-CRFs-datasets1
│   │   ├── checkpoint
│   │   └── ...
│   └── ...
├── data
│   ├── example_datasets1
│   │   ├── logs
│   │   ├── vocabs
│   │   ├── test.csv
│   │   ├── train.csv
│   │   └── dev.csv
│   └── ...
├── demo_webapp
│   ├── demo_webapp
│   ├── interface
│   └── manage.py
├── engines
│   ├── BiLSTM_CRFs.py
│   ├── Configer.py
│   ├── DataManager.py
│   └── utils.py
└── tools
    ├── calcu_measure_testout.py
    └── statis.py

• 文件夹

  • 在 engines 文件夹中，提供核心功能代码。
  • 在 data-subfold 文件夹中存放数据集。
  • 在 checkpoints-subfold 文件夹中存储模型检查点。
  • 在 demo_webapp 文件夹中，可以进行系统 Web 展示，并提供 API 接口。
  • 在 tools 文件夹中，提供一些离线工具。

• 文件

  • main.py 是系统的入口文件。
  • system.config 是用于配置所有系统设置的文件。
  • HandBook.md 提供使用说明。
  • BiLSTM_CRFs.py 是主模型。
  • Configer.py 用于解析 system.config。
  • DataManager.py 负责管理数据集和调度。
  • utils.py 提供即时工具。

快速入门

请按照以下步骤操作：

第一步：在 system.config 中编写配置文件。

• 配置数据集（输入/输出）。
• 配置标注方案。
• 配置模型架构。
• 在演示示例时，配置 Web 应用设置。

第二步：开始训练（必要且必须）

• 配置运行模式。
• 配置训练设置。
• 运行 main.py。

第三步：开始测试（可选）

• 配置运行模式。
• 配置测试设置。
• 运行 main.py。

第四步：开始交互式预测（可选）

• 配置运行模式。
• 运行 main.py。
• 交互式输入句子。

第五步：启动 API 服务和 Web 应用（可选）

• 配置运行模式。
• 配置 api_service 设置。
• 运行 main.py。
• 在浏览器中进行交互式预测。

数据集

输入

训练集、测试集和验证集是整体使用所必需的。然而，如果您只想训练模型并在离线环境中使用，则仅需训练集即可。训练完成后，您可以使用保存的模型检查点文件进行推理。如果需要进行测试，则应...

对于 trainset、testset 和 devset，常见格式如下：

• 词级别：

(Token)         (Label)

for             O
the             O
lattice         B_TAS
QCD             I_TAS
computation     I_TAS
of              I_TAS
nucleon–nucleon I_TAS
low-energy      I_TAS
interactions    E_TAS
.               O

It              O
consists        O
in              O
simulating      B_PRO
...

• 字符级别：

(Token) (Label)

马 B-LOC
来 I-LOC
西 I-LOC
亚 I-LOC
副 O
总 O
理 O
。 O

他 O
兼 O
任 O
财 B-ORG
政 I-ORG
部 I-ORG
长 O
...

请注意：

1. testset 只能包含 Token 行。
2. 每个句子的标记之间用空行分隔。
3. 请参阅示例数据集以获取详细的格式说明。

输出（测试阶段）

在测试过程中，模型会根据 test.csv 输出预测的实体。输出文件包括两个：test.out 和 test.entity.out（可选）。

• test.out

与输入的 test.csv 格式相同。

• test.entity.out

Sentence
entity1 (Type)
entity2 (Type)
entity3 (Type)
...

自定义

如果您想将该项目适配到自己的特定序列标注任务，可能需要以下提示。

• 下载仓库源代码。

• 标注方案（最重要）

  • label_scheme：BIO/BIESO
  • label_level：带后缀/不带后缀
  • 连字符用于连接前缀和后缀：如 B_PER'、`I_LOC'
  • 后缀=[NR,NS,NT]
  • 标注级别：词/字

• 模型：在 BiLSTM_CRFs.py 中将模型架构修改为您所需的结构。

• 数据集：按照正确的格式适配您的数据集。

• 训练

  • 指定所有目录。
  • 设置训练超参数。

其他

---

有关更多使用细节，请参阅 HandBook。

欢迎提出任何问题或错误。

---

正在更新...

• 2019年6月4日，Vex 版本，v1.0，支持配置，可扩展。
• 2018年11月5日，支持字符和词级别的嵌入。
• 2017年12月6日，初始版本，v0.1。

许可证

sequence-labeling-BiLSTM-CRF 快速上手指南

本指南旨在帮助开发者快速部署并使用基于 TensorFlow 的 BiLSTM+CRF 序列标注工具，适用于命名实体识别（NER）、词性标注（POS）、中文分词等任务。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux / macOS / Windows
• Python 版本: >= 3.5 (推荐 3.6)
• 核心框架: TensorFlow >= 1.8 (原文示例基于 1.10.0)
• 其他依赖:
  • numpy
  • pandas
  • Django == 1.11.8 (用于 Web 演示)
  • jieba (中文分词支持)

注意：由于该项目基于 TensorFlow 1.x 版本，建议创建独立的虚拟环境以避免版本冲突。

安装步骤

1. 克隆项目代码

使用 git 将仓库下载到本地：

git clone https://github.com/scofield7419/sequence-labeling-BiLSTM-CRF.git
cd sequence-labeling-BiLSTM-CRF

2. 安装依赖库

推荐使用国内镜像源（如清华源）加速安装过程：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

如果 requirements.txt 未包含所有依赖，可手动安装核心包：

pip install tensorflow==1.10.0 numpy pandas Django==1.11.8 jieba -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

本项目采用配置文件驱动模式，核心流程分为：配置参数 -> 训练模型 -> 预测/测试。

第一步：修改配置文件

编辑根目录下的 system.config 文件，根据您的需求调整以下关键参数：

• 运行模式 (Running Mode): 设置为 train (训练), test (测试), 或 interactive_predict (交互式预测)。
• 数据集路径: 指定 train.csv, dev.csv, test.csv 的位置。
• 标注体系: 选择 BIO 或 BIESO 格式。
• 模型架构: 配置编码器 (Bi-LSTM)、解码器 (CRF)、嵌入层 (char/word) 及超参数。

第二步：准备数据

确保数据文件夹 (data/) 中包含符合格式的训练集。文件格式为两列（Token 和 Label），句子之间用空行分隔。

示例格式 (train.csv):

Stanford B-ORG
University I-ORG
located O
at O
California B-LOC
. O

马 B-LOC
来 I-LOC
西 I-LOC
亚 I-LOC

第三步：运行模型

场景 A：训练模型

将 system.config 中的运行模式设为 train，然后执行：

python main.py

训练完成后，模型检查点将保存在 checkpoints/ 目录下。

场景 B：交互式预测

将 system.config 中的运行模式设为 interactive_predict，确保已加载训练好的模型检查点，然后执行：

python main.py

程序启动后，您可以在终端直接输入句子，系统将实时输出识别出的实体。

场景 C：启动 Web 演示服务

将 system.config 中的运行模式设为 api_service，配置好 IP 和端口后执行：

python main.py

随后在浏览器访问配置的地址（例如 http://127.0.0.1:8000）即可使用图形化界面进行预测。

代码调用示例 (Python API)

如果您希望在其他 Python 项目中直接调用该模型，可参考以下代码：

from engines.BiLSTM_CRFs import BiLSTM_CRFs as BC
from engines.DataManager import DataManager
from engines.Configer import Configer
from engines.utils import get_logger

# 初始化配置
config_file = r'/path/to/system.config'
configs = Configer(config_file)

logger = get_logger(configs.log_dir)
dataManager = DataManager(configs, logger)
model = BC(configs, logger, dataManager)

# 单句预测
sentence = "斯坦福大学位于加州。"
# 注意：实际输入可能需要根据配置进行分词处理
sentence_tokens = sentence.split() 
sentence_tokens, entities, entities_type, entities_index = model.predict_single(sentence_tokens)

print("\nExtracted entities:\n %s\n" % ("\n".join(entities)))