skweak: 用于自然语言处理的弱监督

Skweak 已不再积极维护（如果您有兴趣接手该项目，请与我们联系）。

在许多实际的自然语言处理场景中，标注数据仍然是一种稀缺资源。尤其是在处理低资源语言（或文本领域）时，或者当使用没有现成数据集的任务特定标签时，情况尤为如此。通常唯一可行的选择就是手动收集和标注文本，但这既昂贵又耗时。

skweak（发音为 /skwi:k/）是一个基于 Python 的软件工具包，它利用弱监督提供了一种切实可行的解决方案。skweak 的核心理念非常简单：与其手动标注文本，不如定义一组_标注函数_来自动为文档打上标签，然后将这些函数的结果_聚合_起来，从而得到一个已标注的语料库版本。

这些标注函数可以有多种形式，例如领域特定的启发式规则（如模式匹配规则）、命名实体词典（基于大型词典）、机器学习模型，甚至众包工作者的标注。聚合过程则通过一个统计模型完成，该模型会通过比较各标注函数之间的预测结果，自动估计每种标注函数的相对准确率及其可能的混淆情况。

skweak 可以应用于序列标注和文本分类任务，并提供了一个完整的 API，只需几行代码即可创建、应用和聚合标注函数。该工具包还与 SpaCy 紧密集成，因此很容易融入现有的 NLP 流程中。不妨试一试吧！

完整论文：
Pierre Lison、Jeremy Barnes 和 Aliaksandr Hubin（2021），“skweak：让 NLP 的弱监督变得简单”，ACL 2021（系统演示）。

文档与 API：请参阅 Wiki，了解如何使用 skweak 的详细信息。

https://user-images.githubusercontent.com/11574012/114999146-e0995300-9ea1-11eb-8288-2bb54dc043e7.mp4

依赖项

• spacy >= 3.0.0
• hmmlearn >= 0.3.0
• pandas >= 0.23
• numpy >= 1.18

此外，您还需要 Python >= 3.6。

安装

安装 skweak 最简单的方式是通过 pip：

pip install skweak

或者，如果您想从仓库安装：

pip install --user git+https://github.com/NorskRegnesentral/skweak

上述安装仅包含核心库，不包括 examples 中的附加示例。

注意：某些示例和测试可能需要训练好的 SpaCy 管道。这些管道可以使用以下语法自动下载（以 en_core_web_sm 管道为例）：

python -m spacy download en_core_web_sm

基本概述

使用 skweak 进行弱监督的过程如下：

• 开始：首先，您需要来自目标文本领域的原始（未标注）数据。skweak 构建在 SpaCy 之上，操作对象是 SpaCy 的 Doc 对象，因此您需要先使用 SpaCy 将您的文档转换为 Doc 对象。
• 步骤 1：接下来，我们需要定义一系列标注函数，这些函数将对文档进行处理并为其片段打上标签。这些标注函数可以来自启发式规则、命名实体词典、机器学习模型等。更多详情请参阅 。
• 步骤 2：一旦标注函数被应用到您的语料库上，您需要将它们的结果_聚合_起来，以获得单一的标注层（而不是来自不同标注函数的多个可能冲突的标注）。在 skweak 中，这一过程是通过一个生成式模型完成的，该模型会自动估计每个标注函数的相对准确率及其可能的混淆情况。
• 步骤 3：最后，我们可以根据这些聚合后的标签来训练最终模型。步骤 2 提供了一个已标注的语料库，它以概率方式汇总了所有标注函数的输出，您可以使用这些标注数据来训练任何类型的机器学习模型。您可以自由选择自己喜欢的模型或框架。

快速入门

以下是一个最小示例，其中三个标注函数（LFs）被应用于单个文档：

import spacy, re
from skweak import heuristics, gazetteers, generative, utils

# LF 1：检测 MONEY 实体出现的启发式方法
def money_detector(doc):
   for tok in doc[1:]:
      if tok.text[0].isdigit() and tok.nbor(-1).is_currency:
          yield tok.i-1, tok.i+1, "MONEY"
lf1 = heuristics.FunctionAnnotator("money", money_detector)

# LF 2：用正则表达式检测年份
lf2= heuristics.TokenConstraintAnnotator("years", lambda tok: re.match("(19|20)\d{2}$", 
                                                  tok.text), "DATE")

# LF 3：包含几个名字的命名实体词典
NAMES = [("Barack", "Obama"), ("Donald", "Trump"), ("Joe", "Biden")]
trie = gazetteers.Trie(NAMES)
lf3 = gazetteers.GazetteerAnnotator("presidents", {"PERSON":trie})

# 我们创建一个语料库（这里只有一篇文本）
nlp = spacy.load("en_core_web_sm")
doc = nlp("Donald Trump paid $750 in federal income taxes in 2016")

# 应用标注函数
doc = lf3(lf2(lf1(doc)))

# 创建并拟合 HMM 聚合模型
hmm = generative.HMM("hmm", ["PERSON", "DATE", "MONEY"])
hmm.fit([doc]*10)

# 拟合完成后，我们只需应用模型来聚合所有函数
doc = hmm(doc)

# 接着可以在 Jupyter 中可视化最终结果
utils.display_entities(doc, "hmm")

显然，要充分发挥 skweak 的作用，您需要超过三个标注函数。更重要的是，您需要一个更大的语料库，尽可能包含来自您所在领域的多篇文档，这样模型才能对每种标注函数的相对准确率做出可靠的估计。

文档

请参阅 Wiki。

许可证

skweak 采用 MIT 许可证发布。

MIT 许可证是一种简短而简单的宽松许可证，允许对本软件进行商业和非商业用途。唯一的条件是必须保留版权和许可证声明（参见文件 License）。根据该许可证授权的作品、修改版本以及更大规模的作品可以以不同的条款分发，且无需提供源代码。

引用

请参阅我们介绍该框架的论文：

Pierre Lison, Jeremy Barnes 和 Aliaksandr Hubin (2021), “skweak：让 NLP 的弱监督变得简单”，ACL 2021（系统演示）。

@inproceedings{lison-etal-2021-skweak,
    title = "skweak：让 {NLP} 的弱监督变得简单",
    author = "Lison, Pierre 与  Barnes, Jeremy 与  Hubin, Aliaksandr",
    booktitle = "第59届计算语言学协会年会暨第11届国际自然语言处理联合会议论文集：系统演示",
    month = aug,
    year = "2021",
    address = "线上",
    publisher = "计算语言学协会",
    url = "https://aclanthology.org/2021.acl-demo.40",
    doi = "10.18653/v1/2021.acl-demo.40",
    pages = "337--346",
}

skweak 快速上手指南

skweak 是一个用于自然语言处理（NLP）的弱监督工具包。它允许开发者通过定义多个“标注函数”（如启发式规则、词典匹配、现有模型等）自动为无标签文本生成标注，并利用统计模型聚合这些结果，从而在无需大量人工标注的情况下构建训练数据集。该工具与 SpaCy 深度集成，适用于序列标注和文本分类任务。

注意：该项目目前不再积极维护，但核心功能依然可用。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：>= 3.6
• 核心依赖：
  • spacy >= 3.0.0
  • hmmlearn >= 0.3.0
  • pandas >= 0.23
  • numpy >= 1.18

此外，您需要预先下载并安装一个 SpaCy 语言模型（例如英文小模型），以便处理文本数据：

python -m spacy download en_core_web_sm

安装步骤

推荐使用 pip 进行安装。为了获得更快的下载速度，国内用户可以使用清华或阿里镜像源。

方式一：通过 PyPI 安装（推荐）

pip install skweak -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：从 GitHub 源码安装（获取最新代码）

pip install --user git+https://github.com/NorskRegnesentral/skweak -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

以下是一个最小化的示例，演示了如何定义三个不同的标注函数（启发式规则、正则表达式、词典），并将它们应用于单个文档，最后通过隐马尔可夫模型（HMM）聚合结果。

import spacy, re
from skweak import heuristics, gazetteers, generative, utils

# LF 1: 启发式规则 - 检测货币实体 (MONEY)
def money_detector(doc):
   for tok in doc[1:]:
      if tok.text[0].isdigit() and tok.nbor(-1).is_currency:
          yield tok.i-1, tok.i+1, "MONEY"
lf1 = heuristics.FunctionAnnotator("money", money_detector)

# LF 2: 正则表达式 - 检测年份 (DATE)
lf2= heuristics.TokenConstraintAnnotator("years", lambda tok: re.match("(19|20)\d{2}$", 
                                                  tok.text), "DATE")

# LF 3: 词典匹配 - 检测总统姓名 (PERSON)
NAMES = [("Barack", "Obama"), ("Donald", "Trump"), ("Joe", "Biden")]
trie = gazetteers.Trie(NAMES)
lf3 = gazetteers.GazetteerAnnotator("presidents", {"PERSON":trie})

# 加载 SpaCy 模型并创建文档对象
nlp = spacy.load("en_core_web_sm")
doc = nlp("Donald Trump paid $750 in federal income taxes in 2016")

# 依次应用标注函数
doc = lf3(lf2(lf1(doc)))

# 创建并拟合 HMM 聚合模型
# 指定标签列表：["PERSON", "DATE", "MONEY"]
hmm = generative.HMM("hmm", ["PERSON", "DATE", "MONEY"])
# 在实际使用中，fit 方法需要传入包含大量文档的列表，此处仅为演示重复传入同一文档
hmm.fit([doc]*10)

# 应用模型聚合所有标注函数的结果
doc = hmm(doc)

# 可视化最终结果 (适用于 Jupyter Notebook)
utils.display_entities(doc, "hmm")

使用提示： 为了获得最佳的弱监督效果，请务必准备尽可能多的领域相关文档数据，并定义多样化的标注函数。数据量越大，模型对各个标注函数准确率的估计就越精确。