Trankit：一个轻量级的基于 Transformer 的多语言自然语言处理 Python 工具包

我们的 Trankit 技术论文 荣获了 EACL 2021 的杰出演示论文奖（Outstanding Demo Paper Award）。如果您在研究中使用了 Trankit，请引用该论文。

@inproceedings{nguyen2021trankit,
      title={Trankit: A Light-Weight Transformer-based Toolkit for Multilingual Natural Language Processing}, 
      author={Nguyen, Minh Van and Lai, Viet Dac and Veyseh, Amir Pouran Ben and Nguyen, Thien Huu},
      booktitle="Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: System Demonstrations",
      year={2021}
}

:boom: :boom: :boom: Trankit v1.0.0 发布：

• 新增 56 种语言的 90 个预训练的基于 Transformer 的流水线（pipeline）。这些新流水线使用 XLM-Roberta large 进行训练，在 Universal Dependencies v2.5 语料库的 90 个树库（treebank）上显著提升了性能。您可以在这里查看最新性能表现。此页面展示了如何使用这些新流水线。

• 多语言流水线支持自动模式（Auto Mode）。在自动模式下，输入文本的语言将被自动检测，使得多语言流水线无需指定语言即可处理输入。请参阅此处了解如何启用自动模式。感谢 loretoparisi 提出此建议。

• 命令行接口（Command-line interface）现已可用。这有助于不熟悉 Python 编程语言的用户轻松使用 Trankit。相关教程请见此页面。

Trankit 是一个轻量级的基于 Transformer 的 Python 多语言自然语言处理（NLP）工具包。它为 100 多种语言提供了可训练的 NLP 基础任务流水线，并为 56 种语言提供了 90 个可下载的预训练流水线。

Trankit 在许多任务上优于当前最先进的多语言工具包 Stanza（StanfordNLP），涵盖 56 种语言的 90 个 Universal Dependencies v2.5 树库，同时在内存占用和速度方面依然高效，使其适用于普通用户。

具体而言，对于英语，Trankit 在句子分割（+9.36%）和依存句法分析（UAS 提升 +5.07%，LAS 提升 +5.81%）方面显著优于 Stanza。对于阿拉伯语，我们的工具包在句子分割性能上提升了 16.36%；而中文在依存句法分析的 UAS 和 LAS 上分别提升了 14.50% 和 15.00%。Trankit、Stanza 以及其他流行 NLP 工具包（如 spaCy、UDPipe）在其他语言上的详细对比，请参见我们的文档页面中的此处。

我们还为 Trankit 创建了一个演示网站，地址为：http://nlp.uoregon.edu/trankit

安装

Trankit 可通过以下任一方式轻松安装：

[2025 年 7 月 23 日：我们当前服务器存在问题。请暂时仅从源码安装 Trankit。模型将从 https://huggingface.co/uonlp/trankit/tree/main/models 下载。稍后我们将更新 pip 安装方式。]

使用 pip

pip install trankit

该命令将自动安装 Trankit 及其所有依赖包。

从源码安装

git clone https://github.com/nlp-uoregon/trankit.git
cd trankit
pip install -e .

这将首先克隆我们的 GitHub 仓库，然后安装 Trankit。

解决 Trankit 与 Transformers 的兼容性问题

旧版本的 Trankit 在使用较新版本的 transformers 时遇到了兼容性问题。要解决此问题，请按如下方式安装新版 Trankit：

pip install trankit==1.1.0

如果在安装过程中遇到任何其他问题，请在此处 提交 issue 告知我们。谢谢！

使用方法

Trankit 可以处理未分词（原始）或已分词的字符串输入，支持句子级和文档级处理。目前，Trankit 支持以下任务：

• 句子分割（Sentence segmentation）
• 分词（Tokenization）
• 多词标记扩展（Multi-word token expansion）
• 词性标注（Part-of-speech tagging）
• 形态特征标注（Morphological feature tagging）
• 依存句法分析（Dependency parsing）
• 命名实体识别（Named entity recognition）

初始化一个预训练流水线

以下代码展示了如何为英语初始化一个预训练流水线；该流水线将在 GPU 上运行，自动下载预训练模型，并将其存储到指定的缓存目录中。如果预训练模型已存在，Trankit 将不会重复下载。

from trankit import Pipeline

初始化一个多语言流水线（pipeline）

p = Pipeline(lang='english', gpu=True, cache_dir='./cache')

#### 对输入执行所有任务
初始化一个预训练的流水线后，即可用于对输入执行所有任务，如下所示。如果输入是一个句子，则必须将参数 `is_sent` 设置为 True。
```python
from trankit import Pipeline

p = Pipeline(lang='english', gpu=True, cache_dir='./cache')

######## 文档级处理 ########
untokenized_doc = '''Hello! This is Trankit.'''
pretokenized_doc = [['Hello', '!'], ['This', 'is', 'Trankit', '.']]

# 对输入执行所有任务
processed_doc1 = p(untokenized_doc)
processed_doc2 = p(pretokenized_doc)

######## 句子级处理 ####### 
untokenized_sent = '''This is Trankit.'''
pretokenized_sent = ['This', 'is', 'Trankit', '.']

# 对输入执行所有任务
processed_sent1 = p(untokenized_sent, is_sent=True)
processed_sent2 = p(pretokenized_sent, is_sent=True)

请注意，尽管预分词（pretokenized）的输入始终可以被处理，但对于需要多词单元（MWT, Multi-Word Token）扩展的语言（如阿拉伯语或法语），使用预分词输入可能并不合适。请查阅此表格中的“Requires MWT expansion?”（是否需要 MWT 扩展？）一列，以确认特定语言是否需要多词单元扩展。
更多详细示例，请参阅我们的文档页面。

多语言使用

从 v1.0.0 版本开始，Trankit 支持一种便捷的自动模式（Auto Mode），用户在处理输入前无需手动设置特定语言。在自动模式下，Trankit 会自动检测输入的语言，并使用对应的语言专用模型，从而避免在多语言流水线中频繁切换语言。

from trankit import Pipeline

p = Pipeline('auto')

# 对英文输入进行分词（Tokenizing）
en_output = p.tokenize('''I figured I would put it out there anyways.''') 

# 对法文输入进行词性标注（POS）、形态标注（Morphological tagging）和依存句法分析（Dependency parsing）
fr_output = p.posdep('''On pourra toujours parler à propos d'Averroès de "décentrement du Sujet".''')

# 对越南语输入进行命名实体识别（NER tagging）
vi_output = p.ner('''Cuộc tiêm thử nghiệm tiến hành tại Học viện Quân y, Hà Nội''')

在此示例中，使用代码名 'auto' 初始化了一个处于自动模式的多语言流水线。更多信息请访问此页面。需要注意的是，除了新的自动模式外，原有的手动模式（manual mode）仍然可以像以前一样使用。

构建自定义流水线

通过 Trankit 中的 TPipeline 类，训练自定义流水线非常简单。下面展示了如何在自定义数据上训练一个词和句子分割器（token and sentence splitter）。

from trankit import TPipeline

tp = TPipeline(training_config={
    'task': 'tokenize',
    'save_dir': './saved_model',
    'train_txt_fpath': './train.txt',
    'train_conllu_fpath': './train.conllu',
    'dev_txt_fpath': './dev.txt',
    'dev_conllu_fpath': './dev.conllu'
    }
)

trainer.train()

有关训练和加载自定义流水线的详细指南，请参见此处。

共享您的自定义流水线

如果您希望与其他用户共享您的自定义流水线，请在此处创建一个 issue，并提供以下信息：

• 您用于训练模型的训练数据，例如数据许可证、数据来源以及一些数据统计信息（即训练集、开发集和测试集的大小）。
• 使用官方评估脚本在您的测试数据上得到的流水线性能指标。
• 您训练好的模型文件的可下载链接（Google Drive 链接尤佳）。

收到您的请求后，我们将检查并测试您的流水线。一切确认无误后，我们会通过新的语言代码使这些流水线可供其他用户使用。

致谢

本项目得到了美国国家情报总监办公室（ODNI）下属的情报高级研究计划署（IARPA）的支持，资助合同号为 2019-19051600006，隶属于文本增强抽取以提升检索能力（BETTER）计划。

我们使用 XLM-Roberta 和 Adapters 作为不同任务和语言共享的多语言编码器。AdapterHub 被用于实现基于 Adapters 的即插即用机制。为了加快开发进度，MWT 扩展器（MWT expander）和词形还原器（lemmatizer）的实现借鉴自 Stanza。语言检测模块则借助了 langid 库。

Trankit 快速上手指南

Trankit 是一个基于 Transformer 的轻量级多语言 NLP 工具包，支持 100 多种语言的分句、分词、词性标注、依存句法分析、命名实体识别等任务。

环境准备

• 操作系统：Linux / macOS / Windows
• Python 版本：3.6 或更高
• 可选加速：支持 GPU（需安装兼容的 CUDA 和 PyTorch）
• 网络要求：首次运行会自动下载预训练模型（约几百 MB），建议使用稳定网络。模型托管于 Hugging Face，国内用户可考虑配置镜像加速（如 HF_ENDPOINT=https://hf-mirror.com）

安装步骤

⚠️ 注意：截至 2025 年 7 月 23 日，官方 PyPI 安装可能存在问题，请优先从源码安装。

方法一：从源码安装（推荐）

git clone https://github.com/nlp-uoregon/trankit.git
cd trankit
pip install -e .

方法二：使用 pip（若恢复可用）

pip install trankit==1.1.0

建议指定版本 1.1.0 以避免与新版 transformers 库的兼容性问题。

基本使用

1. 初始化英文处理管道（自动下载模型）

from trankit import Pipeline

p = Pipeline(lang='english', gpu=True, cache_dir='./cache')

2. 处理整段文本（文档级）

doc = "Hello! This is Trankit."
result = p(doc)
print(result)

3. 多语言自动识别模式（Auto Mode）

无需指定语言，自动检测并处理：

from trankit import Pipeline

p = Pipeline('auto')

# 英文分词
en_out = p.tokenize("I figured I would put it out there anyways.")

# 法文句法分析
fr_out = p.posdep("On pourra toujours parler à propos d'Averroès de \"décentrement du Sujet\".")

# 越南文命名实体识别
vi_out = p.ner("Cuộc tiêm thử nghiệm tiến hành tại Học viện Quân y, Hà Nội")

更多高级用法（如自定义训练、句子级处理、预切分输入等）请参考 官方文档。