NeuroNER

NeuroNER 是一款用于命名实体识别（NER）的程序。官网：neuroner.com。

本页面提供了安装和使用 NeuroNER 的逐步指南。

目录

• 要求
• 安装
• 使用 NeuroNER
  • 添加新数据集
  • 使用预训练模型
  • 分享预训练模型
  • 使用 TensorBoard
• 引用

要求

NeuroNER 依赖于 Python 3、TensorFlow 1.0+，以及可选的 BRAT：

• Python 3：NeuroNER 不支持 Python 2.x。在 Windows 系统上，必须使用 Python 3.6 64 位或更高版本。
• TensorFlow 是一个机器学习库。NeuroNER 使用它来构建基于神经网络的 NER 引擎。官方网站：https://www.tensorflow.org
• BRAT（可选）是一个基于 Web 的标注工具。只有当你希望方便地创建标注或查看 NeuroNER 的预测结果时，才需要安装它。官方网站：http://brat.nlplab.org

安装

若要支持 GPU，必须满足 TensorFlow 的 GPU 要求。如果您的系统不满足这些要求，则应使用 CPU 版本。安装 neuroner 的命令如下：

# 仅支持 CPU（不支持 GPU）：
pip3 install pyneuroner[cpu]

# 支持 GPU：
pip3 install pyneuroner[gpu]

此外，您还需要下载一些支持包。

1. SpaCy 的英语语言模块：

# 下载 SpaCy 英语模块
python -m spacy download en

2. 从 http://neuroner.com/data/word_vectors/glove.6B.100d.zip 下载词嵌入，并将其解压到 ./data/word_vectors 文件夹中：

# 获取词嵌入
wget -P data/word_vectors http://neuroner.com/data/word_vectors/glove.6B.100d.zip
unzip data/word_vectors/glove.6B.100d.zip -d data/word_vectors/

3. 加载示例数据集。可以通过在 Python 解释器中调用 neuromodel.fetch_data() 函数，或在命令行中使用 --fetch_data 参数来加载这些数据集。

# 从命令行加载数据集
neuroner --fetch_data=conll2003
neuroner --fetch_data=example_unannotated_texts
neuroner --fetch_data=i2b2_2014_deid

# 从 Python 解释器加载数据集
from neuroner import neuromodel
neuromodel.fetch_data('conll2003')
neuromodel.fetch_data('example_unannotated_texts')
neuromodel.fetch_data('i2b2_2014_deid')

4. 加载预训练模型。可以通过在 Python 解释器中调用 neuromodel.fetch_model() 函数，或在命令行中使用 --fetch_trained_models 参数来加载这些模型。

# 从命令行加载预训练模型
neuroner --fetch_trained_model=conll_2003_en
neuroner --fetch_trained_model=i2b2_2014_glove_spacy_bioes
neuroner --fetch_trained_model=i2b2_2014_glove_stanford_bioes
neuroner --fetch_trained_model=mimic_glove_spacy_bioes
neuroner --fetch_trained_model=mimic_glove_stanford_bioes

# 从 Python 解释器加载预训练模型
from neuroner import neuromodel
neuromodel.fetch_model('conll_2003_en')
neuromodel.fetch_model('i2b2_2014_glove_spacy_bioes')
neuromodel.fetch_model('i2b2_2014_glove_stanford_bioes')
neuromodel.fetch_model('mimic_glove_spacy_bioes')
neuromodel.fetch_model('mimic_glove_stanford_bioes')

安装 BRAT（可选）

BRAT 是一个可用于创建、修改或查看 BRAT 样式标注的工具。有关安装和使用说明，请参阅 BRAT 官网。

安装 Perl（平台相关）

Perl 是必需的，因为官方的 CoNLL-2003 评估脚本是用这种语言编写的：http://strawberryperl.com。对于 Unix 和 Mac OSX 系统，Perl 应该已经安装。而对于 Windows 系统，可能需要手动安装。

使用 NeuroNER

NeuroNER 可以通过命令行或 Python 解释器运行。

从 Python 解释器使用 NeuroNER

要从命令行使用 NeuroNER，首先使用所需的参数创建一个 neuromodel 实例，然后调用相关方法。其他参数可以在工作目录中的 parameters.ini 文件中设置。例如：

from neuroner import neuromodel
nn = neuromodel.NeuroNER(train_model=False, use_pretrained_model=True)

更多详细信息将在后续提供。

从命令行使用 NeuroNER

默认情况下，NeuroNER 配置为在 CoNLL-2003 数据集上进行训练和测试。使用默认设置运行 neuroner 将开始在 CoNLL-2003 数据集上进行训练（测试集上的 F1 分数应在 0.90 左右，与当前最先进的系统相当）。要开始训练：

# 如果已安装 tensorflow，则使用 CPU；如果已安装 tensorflow-gpu，则使用 GPU：
neuroner

# 如果已安装 tensorflow-gpu，但只想使用 CPU：
CUDA_VISIBLE_DEVICES="" neuroner

# 如果已安装 tensorflow-gpu，但只想使用 GPU 1：
CUDA_VISIBLE_DEVICES=1 neuroner

如果您想更改 NeuroNER 的任何参数，可以修改工作目录中的 parameters.ini 配置文件，或者直接在命令行中指定。

例如，要减少训练轮数且不使用任何预训练的词嵌入：

neuroner --maximum_number_of_epochs=2 --token_pretrained_embedding_filepath=""

要使用预训练模型对一些纯文本进行 NER：

neuroner --train_model=False --use_pretrained_model=True --dataset_text_folder=./data/example_unannotated_texts --pretrained_model_folder=./trained_models/conll_2003_en

如果某个参数同时在 parameters.ini 配置文件和命令行中指定，则命令行参数优先（即，parameters.ini 中的参数将被忽略）。您可以使用 --parameters_filepath 命令行参数指定不同的配置文件。除了指向 parameters.ini 的 --parameters_filepath 外，其他命令行参数均无默认值。

NeuroNER 有三种运行模式：

• 训练模式（从零开始）：数据集文件夹必须包含训练集和验证集。测试集和部署集是可选的。
• 训练模式（从预训练模型开始）：数据集文件夹必须包含训练集和验证集。测试集和部署集是可选的。
• 预测模式（使用预训练模型）：数据集文件夹必须包含测试集或部署集。

添加新的数据集

数据集可以采用 CoNLL-2003 格式或 BRAT 格式。数据集文件和文件夹应按以下方式组织和命名：

• 训练集：train.txt 文件（CoNLL-2003 格式）或 train 文件夹（BRAT 格式）。必须包含标注。
• 验证集：valid.txt 文件（CoNLL-2003 格式）或 valid 文件夹（BRAT 格式）。必须包含标注。
• 测试集：test.txt 文件（CoNLL-2003 格式）或 test 文件夹（BRAT 格式）。必须包含标注。
• 部署集：deploy.txt 文件（CoNLL-2003 格式）或 deploy 文件夹（BRAT 格式）。不应包含任何标注（如果有标注，则会被忽略）。

我们提供了几个数据集示例：

• data/conll2003/en：采用 CoNLL-2003 格式的标注数据集，包含 3 个文件（train.txt、valid.txt 和 test.txt）。
• data/example_unannotated_texts：采用 BRAT 格式的未标注数据集，包含 1 个文件夹（deploy/）。请注意，不包含标注的 BRAT 格式等同于纯文本。

使用预训练模型

要使用预训练模型，必须在配置文件 parameters.ini 中将 pretrained_model_folder 参数设置为包含预训练模型的文件夹。此外，还需将 parameters.ini 中的以下参数设置为与指定 pretrained_model_folder 中配置文件相同的值：

use_character_lstm
character_embedding_dimension
character_lstm_hidden_state_dimension
token_pretrained_embedding_filepath
token_embedding_dimension
token_lstm_hidden_state_dimension
use_crf
tagging_format
tokenizer

分享预训练模型

我们强烈鼓励用户分享在其自有数据集上训练的模型，以便其他用户可以在自己的数据集上使用这些预训练模型。为此，我们提供了脚本 neuroner/prepare_pretrained_model.py，以方便准备用于共享的预训练模型。使用该脚本时，只需在脚本中指定 output_folder_name、epoch_number 和 model_name 参数即可。

默认情况下，预训练模型中仅包含有关数据集的信息，即训练数据集中出现的词汇表及其对应的嵌入向量。

如果您希望在不提供任何数据集相关信息（包括数据集中出现的词汇表）的情况下分享预训练模型，可以在运行脚本时设置

delete_token_mappings = True

在这种情况下，强烈建议使用一些外部预训练的词嵌入，并在训练过程中将其冻结，以获得较高的性能。这可以通过在训练期间的配置文件 parameters.ini 中指定 token_pretrained_embedding_filepath 并设置

freeze_token_embeddings = True

来实现。

如需分享预训练模型，请在 GitHub 仓库中 提交一个新的 issue。

使用 TensorBoard

您可以在训练阶段或训练结束后启动 TensorBoard。为此，在 NeuroNER 文件夹下打开终端并运行：

tensorboard --logdir=output

这将启动一个 Web 服务器，您可以通过浏览器访问 http://127.0.0.1:6006。

引用

如果您在论文或其他出版物中使用 NeuroNER，请引用以下论文：

@article{2017neuroner,
  title={{NeuroNER}: an easy-to-use program for named-entity recognition based on neural networks},
  author={Dernoncourt, Franck and Lee, Ji Young and Szolovits, Peter},
  journal={Conference on Empirical Methods on Natural Language Processing (EMNLP)},
  year={2017}
}

NeuroNER 中使用的神经网络架构在以下文章中有所描述：

@article{2016deidentification,
  title={De-identification of Patient Notes with Recurrent Neural Networks},
  author={Dernoncourt, Franck and Lee, Ji Young and Uzuner, Ozlem and Szolovits, Peter},
  journal={Journal of the American Medical Informatics Association (JAMIA)},
  year={2016}
}

NeuroNER 快速上手指南

NeuroNER 是一个基于神经网络的命名实体识别（NER）工具，支持自定义数据集训练和使用预训练模型进行预测。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Windows (需 64 位)、Linux 或 macOS。
• Python 版本：必须使用 Python 3 (Windows 用户推荐 Python 3.6 64 位或更高版本)，不支持 Python 2.x。
• 深度学习框架：TensorFlow 1.0+。
  • 若需 GPU 加速，请确保已安装 CUDA 并满足 TensorFlow GPU 要求。
  • 若无 GPU，可使用 CPU 版本。
• 其他依赖：
  • Perl：用于运行 CoNLL-2003 评估脚本。Unix/macOS 通常自带，Windows 用户需安装 (如 Strawberry Perl)。
  • BRAT (可选)：仅当您需要标注数据或可视化预测结果时才需安装。

安装步骤

1. 安装 NeuroNER 包

根据您的硬件环境选择以下命令之一：

# CPU 版本 (无 GPU 支持)
pip3 install pyneuroner[cpu]

# GPU 版本 (需预先配置好 CUDA 环境)
pip3 install pyneuroner[gpu]

提示：国内用户如遇下载缓慢，可添加国内镜像源，例如：pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple pyneuroner[gpu]

2. 下载语言模块与词向量

安装完成后，需下载 Spacy 英文模块和 GloVe 词向量文件：

# 下载 Spacy 英文模块
python -m spacy download en

# 下载并解压词向量 (GloVe 6B 100d)
wget -P data/word_vectors http://neuroner.com/data/word_vectors/glove.6B.100d.zip
unzip data/word_vectors/glove.6B.100d.zip -d data/word_vectors/

3. 获取示例数据与预训练模型

您可以直接通过命令行或 Python 代码拉取官方提供的示例数据集和预训练模型。

方式一：命令行拉取

# 拉取示例数据集
neuroner --fetch_data=conll2003
neuroner --fetch_data=example_unannotated_texts
neuroner --fetch_data=i2b2_2014_deid

# 拉取预训练模型
neuroner --fetch_trained_model=conll_2003_en
neuroner --fetch_trained_model=i2b2_2014_glove_spacy_bioes

方式二：Python 代码拉取

from neuroner import neuromodel

# 拉取数据
neuromodel.fetch_data('conll2003')
neuromodel.fetch_data('example_unannotated_texts')

# 拉取模型
neuromodel.fetch_model('conll_2003_en')
neuromodel.fetch_model('i2b2_2014_glove_spacy_bioes')

基本使用

NeuroNER 支持命令行和 Python 脚本两种调用方式。

场景一：使用预训练模型进行预测

如果您已有训练好的模型，可直接对未标注的文本进行实体识别。

命令行模式：

neuroner --train_model=False --use_pretrained_model=True --dataset_text_folder=./data/example_unannotated_texts --pretrained_model_folder=./trained_models/conll_2003_en

Python 模式：

from neuroner import neuromodel

# 初始化模型：不训练，使用预训练模型
nn = neuromodel.NeuroNER(train_model=False, use_pretrained_model=True)
# 后续可调用相关方法进行预测（具体方法请参考详细文档）

场景二：从头开始训练模型

默认情况下，NeuroNER 会使用 CoNLL-2003 数据集进行训练和测试。

启动训练（自动检测 CPU/GPU）：

neuroner

指定设备运行：

# 强制使用 CPU (即使安装了 tensorflow-gpu)
CUDA_VISIBLE_DEVICES="" neuroner

# 强制使用特定 GPU (例如 GPU 1)
CUDA_VISIBLE_DEVICES=1 neuroner

自定义参数训练： 您可以通过修改工作目录下的 parameters.ini 文件或直接在命令行传递参数来调整训练配置。命令行参数优先级高于配置文件。

# 示例：仅训练 2 个 epoch，且不使用预训练词向量
neuroner --maximum_number_of_epochs=2 --token_pretrained_embedding_filepath=""

监控训练过程 (可选)

在训练期间或结束后，可以使用 TensorBoard 可视化训练指标：

tensorboard --logdir=output

启动后在浏览器访问 http://127.0.0.1:6006 即可查看。