通过多任务微调实现跨语言泛化

本仓库提供了用于创建 BLOOMZ、mT0 和 xP3 的所有组件的概述，这些内容在论文《通过多任务微调实现跨语言泛化》中有所介绍。25分钟视频链接由 Samuel Albanie 撰写；4分钟视频链接由 Niklas Muennighoff 撰写。

• 数据
• 模型
• 创建 xP3
• 训练模型
  • BLOOMZ
  • mT0
• 评估模型
  • 排名评估
  • 生成评估
• 图表与表格
  • 图表
  • 表格
• 引用

数据

名称	说明	示例模型
xP3x	包含277种语言、17项任务的混合数据集，使用英语提示词	正在进行中——欢迎加入 Project Aya @C4AI 来帮忙！
xP3	包含46种语言、13项训练任务的混合数据集，使用英语提示词	BLOOMZ 和 mT0-13B
xP3mt	包含46种语言、13项训练任务的混合数据集，使用20种语言的提示词（由英语机器翻译而来）	BLOOMZ-MT 和 mT0-13B-MT
xP3all	xP3 加上我们的评估数据集，新增3项任务，总计16项任务，覆盖46种语言，使用英语提示词
xP3megds	经过Megatron-DeepSpeed 处理后的 xP3 版本	BLOOMZ
P3	对仅含英语的P3 进行重新处理，包含8项训练任务	BLOOMZ-P3 和 mT0-13B-P3

模型

在xP3 上进行多任务微调。推荐用于英语提示。
参数量	3亿	5.8亿	12亿	37亿	130亿	5.6亿	11亿	17亿	30亿	71亿	176亿
微调后的模型	mt0-small	mt0-base	mt0-large	mt0-xl	mt0-xxl	bloomz-560m	bloomz-1b1	bloomz-1b7	bloomz-3b	bloomz-7b1	bloomz
在xP3mt 上进行多任务微调。推荐用于非英语提示。
微调后的模型					mt0-xxl-mt					bloomz-7b1-mt	bloomz-mt
在P3 上进行多任务微调。仅用于研究目的发布。性能严格劣于上述模型！
微调后的模型					mt0-xxl-p3					bloomz-7b1-p3	bloomz-p3
原始预训练检查点。不推荐使用。
预训练模型	mt5-small	mt5-base	mt5-large	mt5-xl	mt5-xxl	bloom-560m	bloom-1b1	bloom-1b7	bloom-3b	bloom-7b1	bloom

创建 xP3(x)

我们已经处理并上传了 xP3。如果您想重新创建它，请按照以下步骤操作：

1. 获取 promptsource：对于 xP3mt，使用 git clone -b xp3mt https://github.com/Muennighoff/promptsource.git；对于 xP3，使用 git clone -b tr13 https://github.com/Muennighoff/promptsource.git，然后安装：cd promptsource; pip install -e .
2. 安装相关包：pip install -q datasets iso-639
3. 获取 创建脚本，并在必要时进行编辑：
   • 对于 xP3mt，在脚本开头设置 USE_ENGLISH_PROMPTS = False；
   • 对于 xP3，在脚本开头设置 USE_ENGLISH_PROMPTS = True。
4. 运行脚本，例如通过 python prepare_xp3.py 或者使用 SLURM 脚本。

对于 xP3 的新扩展版本 xP3x，流程大致相同，只是：

1. 安装 xp3x 分支，即 pip install git+https://github.com/Muennighoff/promptsource.git@xp3x。
2. 创建脚本位于该仓库中，名为 create_xp3x.py。

xP3x 是 xP3 的超集，因此除非您希望复现论文中的结果，否则建议始终使用 xP3x（或者如果您需要机器翻译的提示，则使用 xP3mt）。

训练模型

BLOOMZ

1. 下载预训练模型的 检查点，其并行性配置为 PP=12、TP=4、DP=4。如果您希望调整模型的并行性配置，还需要下载 通用检查点。如果要继续微调，应使用 我们微调后的检查点，其并行性配置为 PP=72、TP=1、DP=4。
2. 设置训练代码：git clone -b t0loading https://github.com/bigscience-workshop/Megatron-DeepSpeed，并按照其 设置指南 创建包含必要包的环境。
3. 下载 Megatron-DeepSpeed 处理过的 xP3megds，或者自行将 xP3 重新处理以适配 Megatron-DeepSpeed：删除 merged_{lang}.jsonl 文件，并使用 此处的脚本 进行预处理。
4. 设置并运行训练脚本：我们使用位于 bigscience-workshop/bigscience/train/tr13-mtf 的 SLURM 脚本，称为 xp3capmixnewcodelonglossseq。例如，这是用于训练 bloomz 的脚本。脚本中需要修改的重要部分包括：
   • #SBATCH 变量，如节点数、GPU 数量、运行时间等——我们的 SLURM 使用指南请参见 这里。
   • source $six_ALL_CCFRWORK/start-tr13f-6B3-ml-t0，指向您通过 Megatron-DeepSpeed 设置的 Conda 环境。
   • PATH 环境变量，尤其是：
     • TRAIN_DATA_PATH 和 VALID_DATA_PATH，分别指向您的训练和验证数据文件。我们在此仓库中提供了这些文件（xp3capmixnewcodelong_train.txt 和 xp3capmixnewcodelong_validation.txt），但您可能需要更改其中的路径。各语言的比例基于其在 xP3 中所占的比重，代码数据会稍作过采样。
   • PP_SIZE=72、TP_SIZE=1 以及 BATCH SIZE 等布局参数。这些取决于您可用的硬件资源。如果更改配置，可能需要对模型进行重排布。重排布时需使用通用检查点，并在脚本中添加 --universal 标志。我们建议在重排布后立即保存一个新的检查点，然后继续训练而不使用 --universal，这样速度会更快。
   • 如果您想从已保存的检查点继续训练（例如像上述那样先训练几步），请确保移除 --no-load-optim 和 --reset-progress 标志。
   • 训练完成后，您可以使用 此处的脚本 将检查点转换为 Transformers 格式。

有用资源：

• 博客文章
• BLOOM 社区讨论页，例如 这里。

mT0

按照 此处的微调说明，确保使用预训练的 mT5 模型和 xP3 数据集。

有用资源：

• T5X 论文

评估模型

评估结果均在此仓库中提供：https://huggingface.co/datasets/bigscience/evaluation-results，对应各个模型。下面我们介绍如何运行评估。

排序评估

我们在以下任务上对模型进行排序评估：XCOPA、XNLI、XStoryCloze 和 XWinograd：

1. 获取 promptsource 分支：git clone -b xp3mt https://github.com/Muennighoff/promptsource.git，然后进入目录并安装：cd promptsource; pip install -e .
2. 获取 t-zero 分支：git clone -b muennighoff/upgrdps https://github.com/Muennighoff/t-zero.git，然后进入目录并安装：cd t-zero; pip install -e .
3. 下载模型并运行评估脚本，例如针对 bloomz。

生成评估

我们在训练过程中对翻译和摘要任务进行生成评估，以用于验证：

1. 获取 promptsource 分支：git clone -b xp3mt https://github.com/Muennighoff/promptsource 并进入目录 cd promptsource; pip install -e .
2. 获取 bigscience-workshop/lm-evaluation-harness：git clone https://github.com/bigscience-workshop/lm-evaluation-harness。例如，7.1B 模型的脚本位于 这里。

我们还使用 HumanEval 对代码生成进行评估：

1. 获取代码评估代码：git clone https://github.com/loubnabnl/bloom-code-evaluation，并按照其说明完成设置。
2. 在 code_eval.py 中将 complete_code(model, tokenizer, prompt, num_completions=1, prepend_eos=True, **gen_kwargs) 的 prepend_eos 参数设置为 False，即改为 complete_code(model, tokenizer, prompt, num_completions=1, prepend_eos=False, **gen_kwargs)。
3. 下载模型并运行评估脚本，将 MODEL_CKPT 替换为你的模型路径。例如，对于 bloomz 可以使用 这个脚本。

图表与表格

图表

• 图1：plotstables/xp3_taxonomy.drawio 和 plotstables/xp3_taxonomy.pdf
• 图2：plotstables/xp3_languages.ipynb 和 Colab
• 图3：plotstables/xp3_variants.pdf 和 绘图文件
• 图4：plotstables/xp3_generalization_bar.pdf 和 Colab
• 图5：plotstables/lang_generalization 和 Colab
• 图6：plotstables/scale.pdf 和 Colab
• 图7：plotstables/validation.pdf 和 Colab
• 图8：plotstables/pretraining_sizes.pdf 和 Colab
• 图9：plotstables/english_task_generalization.pdf 和 Colab
• 图10：plotstables/task_generalization.pdf 和 Colab
• 图11：plotstables/roots_xp3_languages.pdf 和 Colab，需要使用 plotstables/contamination 中的部分文件。
• 图12：plotstables/examples/bloom_code_example.py、plotstables/examples/bloom_code_light.pdf 和 plotstables/examples/bloomz_code_light.pdf；原始代码文件可在此处找到：这里 和 这里。
• 图13 至图16：plotstables/examples/*.pdf 和 plotstables/examples/generations.drawio。

表格

• 表1：Colab 和 复杂版本的 Colab
• 表2：改编自 Codex 论文
• 表3：手动整理
• 表4：使用 plotstables/compute_codegen_len.ipynb 处理生成结果，使用 plotstables/countcode.py 处理 xP3 数据
• 表5：手动整理
• 表6：手动整理
• 表7：plotstables/levenshtein.py
• 表8：与表1相同，但语言从 L1 切换到 L2
• 表9：Colab
• 表10：Colab
• 提示附录：https://github.com/albanie/prompt_formatting_in_latex

引用

@article{muennighoff2022crosslingual,
  title={跨语言泛化通过多任务微调},
  author={Muennighoff, Niklas and Wang, Thomas and Sutawika, Lintang and Roberts, Adam and Biderman, Stella and Scao, Teven Le and Bari, M Saiful and Shen, Sheng and Yong, Zheng-Xin and Schoelkopf, Hailey and others},
  journal={arXiv 预印本 arXiv:2211.01786},
  year={2022}
}

xmtf 快速上手指南

本指南基于论文《Crosslingual Generalization through Multitask Finetuning》，旨在帮助开发者快速了解并使用 xmtf 项目复现 BLOOMZ 和 mT0 等多语言微调模型。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu)，项目脚本主要基于 SLURM 集群环境设计，单机运行需适配。
• Python: Python 3.8+
• 硬件:
  • 训练大模型（如 BLOOMZ）需要多卡 GPU 集群支持（Megatron-DeepSpeed 架构）。
  • 推理或小模型微调可根据模型参数量调整显存需求。
• 前置依赖:
  • Git
  • Pip
  • Hugging Face Account (用于下载数据集和模型权重)

安装步骤

1. 获取代码与依赖库

首先克隆必要的仓库并安装核心依赖。根据您的需求选择处理 xP3（英文提示词）或 xP3mt（多语言机器翻译提示词）。

安装 PromptSource (提示词源):

# 对于 xP3mt (多语言提示词)
git clone -b xp3mt https://github.com/Muennighoff/promptsource.git
cd promptsource
pip install -e .

# 或者对于 xP3 (仅英文提示词)
# git clone -b tr13 https://github.com/Muennighoff/promptsource.git
# cd promptsource
# pip install -e .

安装数据处理工具:

pip install -q datasets iso-639

安装训练框架 (以 BLOOMZ 为例):

BLOOMZ 系列模型基于 Megatron-DeepSpeed 训练，需克隆特定分支：

git clone -b t0loading https://github.com/bigscience-workshop/Megatron-DeepSpeed
# 进入目录后请参考其 README 配置 conda 环境及必要包

安装评估工具 (可选):

如需复现排名评估结果：

git clone -b muennighoff/upgrdps https://github.com/Muennighoff/t-zero.git
cd t-zero
pip install -e .

2. 数据准备 (创建 xP3)

虽然可以直接从 Hugging Face 下载处理好的数据集，若需自定义或重新生成数据，可运行以下脚本：

1. 获取创建脚本 prepare_xp3_train.py (位于 bigscience-workshop/bigscience 仓库)。
2. 编辑脚本头部配置：
   • 生成 xP3mt：设置 USE_ENGLISH_PROMPTS = False
   • 生成 xP3：设置 USE_ENGLISH_PROMPTS = True
3. 执行脚本：

python prepare_xp3.py
# 或在集群环境下使用 SLURM
# sbatch prepare_xp3_train.slurm

注意：对于新版扩展数据集 xP3x，请安装 xp3x 分支的 promptsource (pip install git+https://github.com/Muennighoff/promptsource.git@xp3x) 并使用本仓库中的 create_xp3x.py 脚本。除非为了复现论文，否则推荐直接使用 xP3x。

基本使用

本项目主要包含模型加载/推理和模型训练两个核心场景。大多数用户建议直接使用 Hugging Face 上已预训练好的模型进行推理或下游任务微调。

场景一：加载预训练模型进行推理

您可以直接通过 transformers 库加载 BLOOMZ 或 mT0 模型。推荐使用在 xP3 上微调的模型以获得最佳的英语提示效果，或使用 xP3mt 版本以获得更好的非英语支持。

示例：加载 BLOOMZ-7B 模型

from transformers import AutoModelForCausalLM, AutoTokenizer

# 加载分词器和模型
model_name = "bigscience/bloomz-7b1" 
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# 构建输入 (建议使用英文提示词以获得最佳效果)
prompt = "Translate the following sentence to French: Hello, how are you?"
inputs = tokenizer(prompt, return_tensors="pt")

# 生成回复
outputs = model.generate(**inputs, max_new_tokens=50)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

示例：加载支持多语言提示的 mT0 模型

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

# 加载 mT0-xxl-mt (支持多语言提示词)
model_name = "bigscience/mt0-xxl-mt"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)

# 多语言提示示例
prompt = "Résume le texte suivant : L'intelligence artificielle transforme le monde."
inputs = tokenizer(prompt, return_tensors="pt")

outputs = model.generate(**inputs, max_new_tokens=50)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

场景二：从头开始训练 (高级)

若需复现训练过程（例如训练 BLOOMZ），请遵循以下简化流程：

1. 下载预训练权重: 从 Hugging Face 下载 bigscience/bloom-optimizer-states (或其他对应尺寸)。
2. 准备数据: 下载处理好的 xP3megds 数据集，或自行将 xP3 转换为 Megatron-DeepSpeed 格式。
3. 配置训练脚本: 修改 train/tr13-mtf 目录下的 SLURM 脚本。
   • 设置 TRAIN_DATA_PATH 指向您的数据文件。
   • 调整 PP_SIZE, TP_SIZE 以匹配您的硬件拓扑。
   • 指定 Conda 环境路径。
4. 启动训练:

# 示例命令 (需根据实际环境修改参数)
sbatch train/tr13-mtf/tr13-176B-mtf-xp3capmixnewcodelonglossseq.slurm

训练完成后，可使用官方脚本将 checkpoint 转换为 Transformers 格式以便后续使用。