seqeval

seqeval 是一个用于序列标注评估的 Python 框架。 seqeval 可以评估诸如命名实体识别、词性标注、语义角色标注等分块任务的性能。

该框架经过了 Perl 脚本 conlleval 的充分测试， 该脚本可用于衡量处理 CoNLL-2000 共享任务数据的系统的性能。

支持的特性

seqeval 支持以下标注方案：

• IOB1
• IOB2
• IOE1
• IOE2
• IOBES（仅在严格模式下）
• BILOU（仅在严格模式下）

以及以下指标：

指标	描述
accuracy_score(y_true, y_pred)	计算准确率。
precision_score(y_true, y_pred)	计算精确率。
recall_score(y_true, y_pred)	计算召回率。
f1_score(y_true, y_pred)	计算 F1 分数，也称为平衡 F 分数或 F 度量。
classification_report(y_true, y_pred, digits=2)	构建一个文本报告，展示主要分类指标。digits 是格式化浮点数值时的小数位数。默认值为 2。

使用方法

seqeval 支持两种评估模式。您可以为每个指标指定以下模式：

• 默认模式
• 严格模式

默认模式与 conlleval 兼容。如果您想使用默认模式，则无需显式指定：

>>> from seqeval.metrics import accuracy_score
>>> from seqeval.metrics import classification_report
>>> from seqeval.metrics import f1_score
>>> y_true = [['O', 'O', 'O', 'B-MISC', 'I-MISC', 'I-MISC', 'O'], ['B-PER', 'I-PER', 'O']]
>>> y_pred = [['O', 'O', 'B-MISC', 'I-MISC', 'I-MISC', 'I-MISC', 'O'], ['B-PER', 'I-PER', 'O']]
>>> f1_score(y_true, y_pred)
0.50
>>> classification_report(y_true, y_pred)
              precision    recall  f1-score   support

        MISC       0.00      0.00      0.00         1
         PER       1.00      1.00      1.00         1

   micro avg       0.50      0.50      0.50         2
   macro avg       0.50      0.50      0.50         2
weighted avg       0.50      0.50      0.50         2

在严格模式下，输入会根据指定的标注方案进行评估。严格模式的行为与默认模式不同，后者旨在模拟 conlleval。如果您想使用严格模式，请同时指定 mode='strict' 和 scheme 参数：

>>> from seqeval.scheme import IOB2
>>> classification_report(y_true, y_pred, mode='strict', scheme=IOB2)
              precision    recall  f1-score   support

        MISC       0.00      0.00      0.00         1
         PER       1.00      1.00      1.00         1

   micro avg       0.50      0.50      0.50         2
   macro avg       0.50      0.50      0.50         2
weighted avg       0.50      0.50      0.50         2

以下是一个最小示例，说明默认模式与严格模式之间的差异：

>>> from seqeval.metrics import classification_report
>>> from seqeval.scheme import IOB2
>>> y_true = [['B-NP', 'I-NP', 'O']]
>>> y_pred = [['I-NP', 'I-NP', 'O']]
>>> classification_report(y_true, y_pred)
              precision    recall  f1-score   support
          NP       1.00      1.00      1.00         1
   micro avg       1.00      1.00      1.00         1
   macro avg       1.00      1.00      1.00         1
weighted avg       1.00      1.00      1.00         1
>>> classification_report(y_true, y_pred, mode='strict', scheme=IOB2)
              precision    recall  f1-score   support
          NP       0.00      0.00      0.00         1
   micro avg       0.00      0.00      0.00         1
   macro avg       0.00      0.00      0.00         1
weighted avg       0.00      0.00      0.00         1

安装

要安装 seqeval，只需运行：

pip install seqeval

许可证

MIT

引用

@misc{seqeval,
  title={{seqeval}: 一个用于序列标注评估的 Python 框架},
  url={https://github.com/chakki-works/seqeval},
  note={软件可从 https://github.com/chakki-works/seqeval 获取},
  author={中村博树},
  year={2018},
}

seqeval 快速上手指南

环境准备

• Python 3.6+
• 无其他前置依赖

安装步骤

使用 pip 安装（推荐使用国内镜像加速）：

pip install seqeval -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

导入评估模块，使用默认模式评估序列标注结果：

from seqeval.metrics import accuracy_score, f1_score, classification_report

y_true = [['O', 'O', 'O', 'B-MISC', 'I-MISC', 'I-MISC', 'O'], ['B-PER', 'I-PER', 'O']]
y_pred = [['O', 'O', 'B-MISC', 'I-MISC', 'I-MISC', 'I-MISC', 'O'], ['B-PER', 'I-PER', 'O']]

print(f"F1-score: {f1_score(y_true, y_pred)}")
print(classification_report(y_true, y_pred))

如需使用严格模式（如 IOB2），需指定 mode='strict' 和 scheme：

from seqeval.scheme import IOB2

print(classification_report(y_true, y_pred, mode='strict', scheme=IOB2))