Stanza: 一种用于多种人类语言的 Python NLP 库

斯坦福 NLP 小组的官方 Python 自然语言处理（NLP）库。它支持在 60 多种语言上运行各种准确的自然语言处理工具，并允许从 Python 访问 Java Stanford CoreNLP 软件。详细信息请访问我们的 官方网站。

🔥  现在提供了一组新的生物医学和临床英语模型包，为从生物医学文献文本和临床笔记中进行句法分析和命名实体识别（NER）提供了无缝体验。更多信息，请查看我们的 生物医学模型文档页面。

引用

如果您在研究中使用本库，请引用我们的 ACL2020 Stanza 系统演示论文：

@inproceedings{qi2020stanza,
    title={Stanza: A {Python} Natural Language Processing Toolkit for Many Human Languages},
    author={Qi, Peng and Zhang, Yuhao and Zhang, Yuhui and Bolton, Jason and Manning, Christopher D.},
    booktitle = "Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations",
    year={2020}
}

如果您使用了我们的生物医学和临床模型，也请引用我们的 Stanza 生物医学模型描述论文：

@article{zhang2021biomedical,
    author = {Zhang, Yuhao and Zhang, Yuhui and Qi, Peng and Manning, Christopher D and Langlotz, Curtis P},
    title = {Biomedical and clinical {E}nglish model packages for the {S}tanza {P}ython {NLP} library},
    journal = {Journal of the American Medical Informatics Association},
    year = {2021},
    month = {06},
    issn = {1527-974X}
}

本仓库中神经流水线的 PyTorch 实现归功于 Peng Qi (@qipeng)、Yuhao Zhang (@yuhaozhang) 和 Yuhui Zhang (@yuhui-zh15)，并得到了 Jason Bolton (@j38)、Tim Dozat (@tdozat) 和 John Bauer (@AngledLuffa) 的帮助。本仓库的维护目前由 John Bauer 领导。

如果您通过 Stanza 使用 CoreNLP 软件，请按照 此处 所述引用 CoreNLP 软件包及相关模块（“在论文中引用 Stanford CoreNLP"）。CoreNLP 客户端主要由 Arun Chaganty 编写，Jason Bolton 牵头将这两个项目合并在一起。

如果您使用了 CoreNLP 中的 Semgrex 或 Ssurgeon 部分，请引用 我们关于 Semgrex 和 Ssurgeon 的 GURT 论文：

@inproceedings{bauer-etal-2023-semgrex,
    title = "Semgrex and Ssurgeon, Searching and Manipulating Dependency Graphs",
    author = "Bauer, John  and
      Kiddon, Chlo{\'e}  and
      Yeh, Eric  and
      Shan, Alex  and
      D. Manning, Christopher",
    booktitle = "Proceedings of the 21st International Workshop on Treebanks and Linguistic Theories (TLT, GURT/SyntaxFest 2023)",
    month = mar,
    year = "2023",
    address = "Washington, D.C.",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2023.tlt-1.7",
    pages = "67--73",
    abstract = "Searching dependency graphs and manipulating them can be a time consuming and challenging task to get right. We document Semgrex, a system for searching dependency graphs, and introduce Ssurgeon, a system for manipulating the output of Semgrex. The compact language used by these systems allows for easy command line or API processing of dependencies. Additionally, integration with publicly released toolkits in Java and Python allows for searching text relations and attributes over natural text.",
}

问题与使用问答

要提问、报告问题或请求功能 🤔，请使用 GitHub Issue Tracker。在创建新问题之前，请务必搜索可能解决您问题的现有问题，或访问我们网站上的 常见问题解答 (FAQ) 页面。

贡献给 Stanza

我们欢迎社区以 Bug 修复 🛠️ 和功能增强 💡 的形式向 Stanza 做出贡献！如果您想贡献，请先阅读 我们的贡献指南。

安装

pip

Stanza 支持 Python 3.6 或更高版本。我们建议您通过 pip（Python 包管理器）安装 Stanza。要安装，只需运行：

pip install stanza

这应该也能帮助解析 Stanza 的所有依赖项，例如 PyTorch 1.3.0 或更高版本。

如果您当前已安装了旧版本的 stanza，请使用：

pip install stanza -U

Anaconda

要通过 Anaconda 安装 Stanza，请使用以下 conda 命令：

conda install -c stanfordnlp stanza

请注意，目前通过 Anaconda 安装 Stanza 不适用于 Python 3.10。对于 Python 3.10，请使用 pip 安装。

从源码

或者，您也可以从该 git 仓库的源码进行安装，这将使您在 Stanza 基础上进行开发具有更高的灵活性。对于此选项，请运行

git clone https://github.com/stanfordnlp/stanza.git
cd stanza
pip install -e .

运行 Stanza

开始使用神经流水线 (neural pipeline)

要运行您的第一个 Stanza 流水线，只需在 Python 交互式解释器中按照以下步骤操作：

>>> import stanza
>>> stanza.download('en')       # Optional: pre-download English models (Pipeline can auto-download if needed)
>>> nlp = stanza.Pipeline('en') # This sets up a default neural pipeline in English
>>> doc = nlp("Barack Obama was born in Hawaii. He was elected president in 2008.")
>>> doc.sentences[0].print_dependencies()

如果您遇到 requests.exceptions.ConnectionError 错误，请尝试使用代理：

>>> import stanza
>>> proxies = {'http': 'http://ip:port', 'https': 'http://ip:port'}
>>> stanza.download('en', proxies=proxies)  # Optional: pre-download English models (Pipeline can auto-download if needed)
>>> nlp = stanza.Pipeline('en')             # This sets up a default neural pipeline in English
>>> doc = nlp("Barack Obama was born in Hawaii. He was elected president in 2008.")
>>> doc.sentences[0].print_dependencies()

最后一条命令将打印输入字符串（或 Document（即 Stanza 中的表示方式））中第一句话的单词，以及该句子在 Universal Dependencies (通用依存关系) 解析中支配该单词的索引（即其“头”），同时还包括单词之间的依赖关系。输出结果应如下所示：

('Barack', '4', 'nsubj:pass')
('Obama', '1', 'flat')
('was', '4', 'aux:pass')
('born', '0', 'root')
('in', '6', 'case')
('Hawaii', '4', 'obl')
('.', '4', 'punct')

有关更多详细信息，请参阅 我们的入门指南。

访问 Java Stanford CoreNLP 软件

除了神经流水线外，该软件包还包含一个官方封装器，用于通过 Python 代码访问 Java Stanford CoreNLP 软件。

需要进行一些初始设置步骤。

• 下载 Stanford CoreNLP 和您希望使用的语言模型
• 将模型 jar 文件放入分发文件夹
• 通过设置 CORENLP_HOME 环境变量来告知 Python 代码 Stanford CoreNLP 的位置（例如，在 *nix 系统中）：export CORENLP_HOME=/path/to/stanford-corenlp-4.5.3

我们在文档中提供了 全面的示例，展示了如何通过 Stanza 使用 CoreNLP 并从中提取各种标注信息。

在线 Colab 笔记本

为了帮助您快速上手，我们还在 demo 文件夹中提供了交互式的 Jupyter 笔记本。您也可以打开这些笔记本并在 Google Colab 上交互式地运行它们。要查看所有可用的笔记本，请遵循以下步骤：

• 前往 Google Colab 网站
• 导航至 File -> Open notebook，并在弹出菜单中选择 GitHub
• 请注意，您不需要授予 Colab 对您 GitHub 账户的访问权限
• 在搜索栏中输入 stanfordnlp/stanza，然后按回车键

神经流水线的预训练模型

我们目前提供所有 Universal Dependencies 树库 v2.8 的模型，以及一些广泛使用语言的命名实体识别 (NER) 模型。您可以在此处找到下载和使用这些模型的说明 here。

批处理以最大化流水线速度

为了最大化速度性能，必须对文档批次运行流水线。逐句运行 for 循环将会非常慢。目前最好的方法是将文档连接在一起，每个文档之间用空行分隔（即两个换行符 \n\n）。分词器会将空行识别为句子断点。我们正在积极改进多文档处理功能。

训练您自己的神经流水线

本库中的所有神经模块都可以使用您自己的数据进行训练。分词器、多词单元 (MWT) 扩展器、词性 (POS)/形态特征标注器、词形还原器 (lemmatizer) 和依存解析器 (dependency parser) 需要 CoNLL-U 格式的数据，而 NER 模型则需要 BIOES 格式。目前，我们不支持通过 Pipeline 接口进行模型训练。因此，要训练您自己的模型，您需要克隆此 git 仓库并从源代码运行训练。

有关如何训练和评估您自己模型的详细逐步指导，请访问我们的 训练文档。

许可证

Stanza 根据 Apache License, Version 2.0 发布。有关更多详细信息，请参阅 LICENSE 文件。

Stanza 快速上手指南

Stanza 是斯坦福 NLP 小组官方推出的 Python 自然语言处理（NLP）库，支持 60 多种人类语言，提供神经管道（Neural Pipeline）及 Java Stanford CoreNLP 的 Python 接口。

环境准备

• Python 版本：建议 Python 3.6 或更高版本。
• 依赖管理：安装时会自动解析并安装 PyTorch 等核心依赖（PyTorch 1.3.0+）。
• 网络环境：首次运行需下载模型文件，国内用户建议使用镜像源加速。

安装步骤

方式一：通过 pip 安装（推荐）

pip install stanza

💡 国内加速提示：如遇下载慢问题，可指定清华或阿里云镜像：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple stanza

方式二：通过 Anaconda 安装

conda install -c stanfordnlp stanza

⚠️ 注意：目前 Anaconda 渠道暂不支持 Python 3.10，若使用 3.10 版本请改用 pip 安装。

方式三：从源码安装

如需二次开发，可从 GitHub 克隆源码：

git clone https://github.com/stanfordnlp/stanza.git
cd stanza
pip install -e .

基本使用

1. 初始化与下载模型

在 Python 交互环境或脚本中导入库。首次运行时，Pipeline 会自动尝试下载所需语言模型，也可手动预下载。

>>> import stanza
>>> stanza.download('en')       # 可选：预下载英文模型
>>> nlp = stanza.Pipeline('en') # 创建默认神经管道

2. 处理文本

将文本传入 Pipeline 进行处理，结果存储在 Document 对象中。

>>> doc = nlp("Barack Obama was born in Hawaii. He was elected president in 2008.")
>>> doc.sentences[0].print_dependencies()

输出示例：

('Barack', '4', 'nsubj:pass')
('Obama', '1', 'flat')
('was', '4', 'aux:pass')
...

3. 网络代理配置

如果在下载模型时遇到 ConnectionError，可设置代理：

>>> proxies = {'http': 'http://ip:port', 'https': 'http://ip:port'}
>>> stanza.download('en', proxies=proxies)
>>> nlp = stanza.Pipeline('en')

性能提示

为了最大化处理速度，建议对文档进行批处理（Batching），避免逐句循环。多个文档间用空行（\n\n）分隔即可。