XTREME：用于评估跨语言泛化能力的大规模多语言多任务基准

任务 | 下载 | 基线系统 | 排行榜 | 官网 | 论文 | 译文

本仓库包含关于XTREME的介绍、数据下载代码以及该基准测试中基线系统的实现。

简介

跨语言迁移多语言编码器评测（XTREME）基准是一个用于评估预训练多语言模型跨语言泛化能力的基准。它涵盖了40种类型学上多样化的语言（横跨12个语系），并包括九项任务，这些任务综合起来需要对不同层次的句法和语义进行推理。XTREME中的语言选择旨在最大化语言多样性、现有任务的覆盖范围以及训练数据的可获得性。其中包含许多研究较少的语言，例如达罗毗荼语系的泰米尔语（主要在印度南部、斯里兰卡和新加坡使用）、泰卢固语和马拉雅拉姆语（主要在印度南部使用），以及尼日尔-刚果语系的斯瓦希里语和约鲁巴语，它们广泛分布于非洲。

有关该基准的完整描述，请参阅论文。

任务与语言

XTREME包含的任务覆盖了自然语言处理领域的一系列标准范式，包括句子分类、结构化预测、句子检索和问答。完整的任务列表见下图。

为了在XTREME基准上取得成功，模型必须学习能够在多种任务和语言之间泛化的表示。每项任务都涵盖XTREME中所包含的40种语言中的部分子集（以下为其ISO 639-1代码）：af, ar, bg, bn, de, el, en, es, et, eu, fa, fi, fr, he, hi, hu, id, it, ja, jv, ka, kk, ko, ml, mr, ms, my, nl, pt, ru, sw, ta, te, th, tl, tr, ur, vi, yo, 和 zh。这些语言是从拥有最多维基百科文章的前100种语言中选出的，以最大限度地提高语言多样性、任务覆盖范围以及训练数据的可用性。它们包括非洲-亚欧语系、南亚语系、南岛语系、达罗毗荼语系、印欧语系、日本语系、高加索语系、壮侗语系、尼日尔-刚果语系、汉藏语系、突厥语系和乌拉尔语系的成员，以及两种孤立语言——巴斯克语和韩语。

下载数据

要在XTREME上运行实验，第一步是下载依赖项。我们假设您已安装anaconda，并且使用Python 3.7及以上版本。其他所需包包括transformers、seqeval（用于序列标注评估）、tensorboardx、jieba、kytea和pythainlp（用于中文、日语和泰语的文本分词），以及sacremoses，可通过运行以下脚本进行安装：

bash install_tools.sh

下一步是下载数据。为此，首先在本项目的根目录下创建一个download文件夹，命令为mkdir -p download。然后，您需要手动从这里下载panx_dataset（用于NER），并将其保存到download目录中（请注意，它会以AmazonPhotos.zip的形式下载）。最后，运行以下命令下载其余数据集：

bash scripts/download_data.sh

需要注意的是，为了避免在实验过程中意外对测试集进行评估，我们在预处理阶段会移除测试数据的标签，并改变跨语言句子检索任务中测试句子的顺序。

构建基线系统

XTREME中的评估设置是零样本跨语言迁移，即从英语迁移到其他语言。我们会在每项XTREME任务的英语标注数据上微调那些已在多语言数据上预训练过的模型。随后，将每个微调后的模型应用于同一任务在其他语言上的测试数据，以获得预测结果。

对于每一项任务，我们都提供了一个脚本scripts/train.sh，用于微调在Transformers库中实现的预训练模型。若要微调不同的模型，只需在脚本中传递相应的MODEL参数即可。目前支持的模型有bert-base-multilingual-cased、xlm-mlm-100-1280和xlm-roberta-large。

泛用依存关系词性标注

对于词性标注任务，我们使用泛用依存关系树库v2.5的数据。您可以通过以下命令在英语词性标注数据上微调预训练的多语言模型：

bash scripts/train.sh [MODEL] udpos

Wikiann命名实体识别

对于命名实体识别（NER）任务，我们使用Wikiann（panx）数据集。您可以通过以下命令在英语NER数据上微调预训练的多语言模型：

bash scripts/train.sh [MODEL] panx

PAXS-X句子分类

对于句子分类任务，我们使用跨语言释义对抗词汇打乱（PAWS-X）数据集。您可以通过以下命令在英语PAWS数据上微调预训练的多语言模型：

bash scripts/train.sh [MODEL] pawsx

XNLI句子分类

第二个句子分类数据集是跨语言自然语言推理（XNLI）数据集。您可以通过以下命令在英语MNLI数据上微调预训练的多语言模型：

bash scripts/train.sh [MODEL] xnli

XQuAD、MLQA、TyDiQA-GoldP问答

对于问答任务，我们使用XQuAD、MLQA和TyDiQA-Gold Passage数据集。对于XQuAD和MLQA，模型应在英语SQuAD训练集上进行训练。而对于TyDiQA-Gold Passage，则需在英语TyDiQA-GoldP训练集上训练模型。您可以先使用以下命令在相应的英语训练数据上微调预训练的多语言模型，然后再对所有任务的测试数据进行预测：

bash scripts/train.sh [MODEL] [xquad,mlqa,tydiqa]

BUCC句子检索

对于跨语言句子检索任务，我们使用构建与使用平行语料库（BUCC）共享任务的数据。由于这些模型并未针对此任务进行训练，而是直接利用预训练模型的表示来计算相似度判断，因此您可以直接应用模型对任务的测试数据进行预测：

bash scripts/train.sh [MODEL] bucc2018

Tatoeba 句子检索

我们使用的第二个跨语言句子检索数据集是 Tatoeba 数据集。与 BUCC 类似，您可以直接应用模型来获得该任务测试数据的预测结果：

bash scripts/train.sh [MODEL] tatoeba

榜单提交

提交

要将您的预测提交至 XTREME，请创建一个包含 9 个子文件夹的主文件夹，这些子文件夹分别以所有任务的名称命名，即 udpos、panx、xnli、pawsx、xquad、mlqa、tydiqa、bucc2018 和 tatoeba。在每个子文件夹中，创建一个文件，其中包含针对所有语言的测试集的预测标签。文件名应采用 test-{language}.{extension} 的格式，其中 language 表示双字符语言代码，而 extension 对于 QA 任务为 json，对于其他任务则为 tsv。您可以在 mock_test_data/predictions 中查看文件夹结构的示例。

评估

我们将使用以下命令将您的提交与我们的标签文件进行比较：

python evaluate.py --prediction_folder [path] --label_folder [path]

翻译

作为训练 translate-train 和 translate-test 基线的一部分，我们已自动将英语训练集翻译成其他语言，并将测试集翻译成英语。翻译适用于以下数据集：SQuAD v1.1（仅训练集和验证集）、MLQA、PAWS-X、TyDiQA-GoldP、XNLI 和 XQuAD。

对于 PAWS-X 和 XNLI，翻译的格式如下： 第 1 列和第 2 列：原始句对
第 3 列和第 4 列：翻译后的句对
第 5 列：标签

这将有助于建立原始数据与其翻译之间的对应关系。

对于 XNLI 和 XQuAD，我们进一步通过将英语测试集自动翻译成 XTREME 中的其余语言，创建了伪测试集，从而使得所有 40 种语言的测试数据都可用。请注意，这些翻译存在噪声，不应被视为真实标签。

所有翻译均可在此处获取：这里。

论文

如果您使用我们的基准或本仓库中的代码，请引用我们的论文 \cite{hu2020xtreme}。

@article{hu2020xtreme,
      author    = {Junjie Hu and Sebastian Ruder and Aditya Siddhant and Graham Neubig and Orhan Firat and Melvin Johnson},
      title     = {XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization},
      journal   = {CoRR},
      volume    = {abs/2003.11080},
      year      = {2020},
      archivePrefix = {arXiv},
      eprint    = {2003.11080}
}

请考虑在您的论文中加入类似下面的说明，以确保引用所有单独的数据集。

我们在 XTREME 基准上进行了实验 \cite{hu2020xtreme}，这是一个用于多语言学习的综合基准，由来自 XNLI \cite{Conneau2018xnli}、PAWS-X \cite{Yang2019paws-x}、UD-POS \cite{nivre2018universal}、Wikiann NER \cite{Pan2017}、XQuAD \cite{artetxe2020cross}、MLQA \cite{Lewis2020mlqa}、TyDiQA-GoldP \cite{Clark2020tydiqa}、BUCC 2018 \cite{zweigenbaum2018overview} 和 Tatoeba \cite{Artetxe2019massively} 等任务的数据组成。我们提供它们的 BibTex 信息如下。

@inproceedings{Conneau2018xnli,
    title = "{XNLI}: Evaluating Cross-lingual Sentence Representations",
    author = "Conneau, Alexis  and
      Rinott, Ruty  and
      Lample, Guillaume  and
      Williams, Adina  and
      Bowman, Samuel  and
      Schwenk, Holger  and
      Stoyanov, Veselin",
    booktitle = "Proceedings of EMNLP 2018",
    year = "2018",
    pages = "2475--2485",
}

@inproceedings{Yang2019paws-x,
    title = "{PAWS-X}: A Cross-lingual Adversarial Dataset for Paraphrase Identification",
    author = "Yang, Yinfei  and
      Zhang, Yuan  and
      Tar, Chris  and
      Baldridge, Jason",
    booktitle = "Proceedings of EMNLP 2019",
    year = "2019",
    pages = "3685--3690",
}

@article{nivre2018universal,
  title={Universal Dependencies 2.2},
  author={Nivre, Joakim and Abrams, Mitchell and Agi{\'c}, {\v{Z}}eljko and Ahrenberg, Lars and Antonsen, Lene and Aranzabe, Maria Jesus and Arutie, Gashaw and Asahara, Masayuki and Ateyah, Luma and Attia, Mohammed and others},
  year={2018}
}

@inproceedings{Pan2017,
author = {Pan, Xiaoman and Zhang, Boliang and May, Jonathan and Nothman, Joel and Knight, Kevin and Ji, Heng},
booktitle = {Proceedings of ACL 2017},
pages = {1946--1958},
title = {{Cross-lingual name tagging and linking for 282 languages}},
year = {2017}
}

@inproceedings{artetxe2020cross,
author = {Artetxe, Mikel and Ruder, Sebastian and Yogatama, Dani},
booktitle = {Proceedings of ACL 2020},
title = {{On the Cross-lingual Transferability of Monolingual Representations}},
year = {2020}
}

@inproceedings{Lewis2020mlqa,
author = {Lewis, Patrick and Oğuz, Barlas and Rinott, Ruty and Riedel, Sebastian and Schwenk, Holger},
booktitle = {Proceedings of ACL 2020},
title = {{MLQA: Evaluating Cross-lingual Extractive Question Answering}},
year = {2020}
}

@inproceedings{Clark2020tydiqa,
author = {Jonathan H. Clark and Eunsol Choi and Michael Collins and Dan Garrette and Tom Kwiatkowski and Vitaly Nikolaev and Jennimaria Palomaki},
booktitle = {Transactions of the Association of Computational Linguistics},
title = {{TyDi QA: A Benchmark for Information-Seeking Question Answering in Typologically Diverse Languages}},
year = {2020}
}

@inproceedings{zweigenbaum2018overview,
  title={Overview of the third BUCC shared task: Spotting parallel sentences in comparable corpora},
  author={Zweigenbaum, Pierre and Sharoff, Serge and Rapp, Reinhard},
  booktitle={Proceedings of 11th Workshop on Building and Using Comparable Corpora},
  pages={39--42},
  year={2018}
}

@article{Artetxe2019massively,
author = {Artetxe, Mikel and Schwenk, Holger},
journal = {Transactions of the ACL 2019},
title = {{Massively Multilingual Sentence Embeddings for Zero-Shot Cross-Lingual Transfer and Beyond}},
year = {2019}
}

XTREME 快速上手指南

XTREME 是一个大规模多语言多任务基准测试，用于评估预训练多语言模型的跨语言泛化能力。它涵盖 40 种类型多样的语言和 9 项自然语言处理任务（如分类、命名实体识别、问答等）。本指南将帮助你快速搭建环境并运行基线系统。

环境准备

在开始之前，请确保你的系统满足以下要求：

• 操作系统: Linux 或 macOS (Windows 用户建议使用 WSL)
• Python 版本: 3.7 或更高
• 包管理器: 已安装 Anaconda 或 Miniconda
• 网络环境: 需要访问 Google Cloud Storage 和 Amazon Cloud Drive 下载数据（国内用户可能需要配置代理或使用加速工具）

安装步骤

1. 创建虚拟环境并安装依赖

首先，克隆仓库并进入目录，然后使用提供的脚本安装必要的 Python 库（包括 transformers, seqeval, jieba 等）。

git clone https://github.com/google-research/xtreme.git
cd xtreme
bash install_tools.sh

提示：如果 install_tools.sh 执行缓慢，可手动使用 pip 安装核心依赖： pip install transformers seqeval tensorboardx jieba kytea pythainlp sacremoses

2. 下载数据集

数据下载分为两部分：手动下载 NER 数据和自动下载其余数据。

第一步：手动下载 WikiANN (panx) 数据

1. 在项目根目录创建下载文件夹：

   mkdir -p download
   

2. 前往 Amazon Cloud Drive 链接 下载 panx_dataset (文件名为 AmazonPhotos.zip)。
3. 将下载的压缩包放入 download 目录并解压（确保解压后的文件结构符合脚本预期）。

第二步：自动下载其他数据集 运行以下脚本下载剩余的任务数据（如 XNLI, PAWS-X, XQuAD 等）：

bash scripts/download_data.sh

注意：为防止意外在测试集上进行训练，脚本在预处理时会自动移除测试集的标签，并对跨语言句子检索任务的测试句顺序进行打乱。

基本使用

XTREME 的评估设定为从英语出发的零样本跨语言迁移。即：使用英语标注数据微调多语言预训练模型，然后直接在其他语言的测试集上进行预测。

运行基线训练与评估

项目为每个任务提供了统一的训练脚本 scripts/train.sh。你只需指定预训练模型名称和任务名称即可。

支持的预训练模型:

• bert-base-multilingual-cased
• xlm-mlm-100-1280
• xlm-roberta-large

通用命令格式:

bash scripts/train.sh [MODEL] [TASK]

任务示例

以下是针对不同类型任务的运行示例：

1. 词性标注 (UD-POS) 使用 Universal Dependencies v2.5 数据进行英语微调：

bash scripts/train.sh bert-base-multilingual-cased udpos

2. 命名实体识别 (WikiANN) 使用 WikiANN (panx) 数据进行英语微调：

bash scripts/train.sh xlm-roberta-large panx

3. 句子分类 (XNLI) 使用 MNLI (英语) 数据进行微调：

bash scripts/train.sh bert-base-multilingual-cased xnli

4. 机器阅读理解 (XQuAD / MLQA / TyDiQA) 支持多个问答数据集，以 XQuAD 为例：

bash scripts/train.sh xlm-roberta-large xquad

5. 跨语言句子检索 (BUCC / Tatoeba) 此类任务无需微调，直接使用预训练模型的表示计算相似度：

bash scripts/train.sh bert-base-multilingual-cased bucc2018

查看结果

脚本运行完成后，预测结果将生成在相应的输出目录中。你可以使用官方提供的评估脚本对比预测结果与标签：

python evaluate.py --prediction_folder [你的预测文件夹路径] --label_folder [标签文件夹路径]

提交到 Leaderboard 时，请将所有 9 个任务的预测结果整理到一个文件夹中，每个任务一个子文件夹，文件命名格式为 test-{语言代码}.{扩展名} (QA 任务用 .json，其他用 .tsv)。