NER

一个中文命名实体识别系统

当前版本基于双向循环神经网络（BiRNN）+ 条件随机场（CRF）来完成实体的标注。基本思路是利用深度神经网络提取特征，从而避免了手动提取特征的麻烦。 模型的第二部分与传统方式一样，使用 CRF 做最后的标注。

该程序使用 TensorFlow（一种深度学习框架）完成，使用了当前较新的 DataSet API，使数据预处理和 feed 更优雅。

由于使用了新的 API，TensorFlow 版本必须大于 1.2.0，代码升级后使用的是 TensorFlow 1.4，不确定原来 TensorFlow 1.2 是否还兼容。

如何使用？

1. 建议安装 tensorflow >= 1.4.1

2. 提供训练所需的数据，具体格式在 resource 文件夹里有展示。但是需要自行分词。只需提供 3 个文件： source.txt、target.txt 和 预训练的词向量。

3. 训练词向量，训练工具可以是 gensim 的 word2vec 或者 GloVe 等等，然后将词和对应的词向量以以下格式保存。 具体格式是： 单词 A:0.001,0.001,0.001,... 单词 B:0.001,0.001,0.001,... 单词 C:0.001,0.001,0.001,... . . . 有些训练工具得出的文件结果就是以上格式不需要修改．程序默认 embedding size 是 300，可以按需求做更改 （注意：训练词向量的数据量越大越好，不只限于当前语料，如果需要训练好的词向量可以联系我。）

4. 修改 config.py 里的文件存路径，所有的配置都在这个文件里。

5. 训练：修改 config.py tf.app.flags.DEFINE_string("action", 'train', "train | predict") $ python rnn.py

6. 预测：修改 config.py tf.app.flags.DEFINE_string("action", 'predict', "train | predict") $ python rnn.py

注意： 原本 resource 文件中只包含 predict.txt, source.txt, target.txt，如果更换自己的词向量文件记得删除其他自动生成的文件。

更多文件、问题见 issues.

NER 快速上手指南

NER 是一个基于双向循环神经网络（BiRNN）+ 条件随机场（CRF）的中文命名实体识别系统。本指南将帮助你快速完成环境搭建与模型训练预测。

环境准备

• Python 环境：建议 Python 2.7 或 3.x（根据 TensorFlow 版本适配）。
• 深度学习框架：TensorFlow 版本必须大于 1.2.0，强烈建议安装 >= 1.4.1。
• 词向量训练工具（可选）：如需自行训练词向量，需准备 gensim 的 word2vector 或 glove 等工具。

安装步骤

通过 pip 安装指定版本的 TensorFlow：

pip install tensorflow>=1.4.1

基本使用

1. 数据准备

在 resource 文件夹中准备以下三个文件：

• source.txt：原始文本数据（需自行分词）。
• target.txt：对应的标注标签数据。
• 预训练的词向量文件：格式如下，默认 embedding size 为 300：

  单词 A:0.001,0.001,0.001,....
  单词 B:0.001,0.001,0.001,....
  

  注：若更换词向量文件，请记得删除其他自动生成的文件。

2. 配置修改

打开 config.py 文件，设置文件路径及运行模式。核心配置项示例：

tf.app.flags.DEFINE_string("action", 'train', "train | predict")

3. 运行程序

根据需求选择训练或预测模式，执行以下命令：

训练模型：

$ python rnn.py

进行预测：

$ python rnn.py