• 2022年4月28日：增加了对 **Hugging Face transformers** 推理的支持。使用方法请参阅文档 [transformers.md](transformers.md) 和我们的 [Hugging Face 模型](https://huggingface.co/OFA-Sys)。
• 2022年4月16日：在 [checkpoints.md](checkpoints.md) 中发布了轻量级预训练模型 **OFA-Medium**（约 9300 万参数）和 **OFA-Tiny**（约 3300 万参数）。使用时，只需加载相应的检查点，并在脚本中设置 `--arch=ofa_medium` 或 `--arch=ofa_tiny` 即可。
• 2022年3月23日：新增了 [鼓励损失](https://arxiv.org/pdf/2110.06537.pdf) 功能。详情请参阅 [README_EncouragingLoss.md](README_EncouragingLoss.md)。利用此功能，OFA-Large 最近在 VQA（测试标准准确率：80.67%）和图像分类（测试准确率：85.6%）任务上均取得了更好的成绩。
• 2022年3月21日：发布了 OFA 预训练的代码。
• 2022年3月18日：发布了经过微调的 OFA-Base（约 1.8 亿参数）检查点及视觉与语言任务的运行脚本，包括：Caption（146.4 CIDEr）、VQA（测试标准数据集上为 78.07）、SNLI-VE（开发集上为 89.3）、RefCOCO（测试 A 子集上为 90.67）、RefCOCO+（测试 A 子集上为 87.15）和 RefCOCOg（测试 u 子集上为 82.31）。
• 2022年3月11日：发布了用于 Gigaword 任务的微调与推理代码/检查点。
• 2022年3月8日：在 checkpoints.md 中发布了 OFA-Base 的预训练检查点。使用 OFA-Base 时，只需加载 ofa_base.pt,并将训练脚本中的 --arch=ofa_large 改为 --arch=ofa_base 即可。
• 2022年3月7日：发布了用于 图像分类 任务的微调与推理代码/检查点，其在 ImageNet-1K 数据集上的准确率为 85.0%,略高于 OFA 论文中报告的结果。
• 2022年3月4日：发布了用于 文本到图像生成 任务的微调与推理代码/检查点。
• 2022年3月3日：发布了用于 SNLI-VE 和 GLUE 任务的微调与推理代码/检查点。
• 2022年2月22日：发布了用于 视觉问答 任务的微调与推理代码/检查点，能够复现 OFA 论文中报告的 VQA 准确率（测试标准数据集上为 80.02%）。请查看我们在 VQA 挑战赛 上的成绩。
• 2022年2月15日：发布了用于 指代表达理解 任务的微调与推理代码/检查点。
• 2022年2月10日：发布了用于 图像字幕生成 任务的推理代码及微调检查点，能够复现 COCO Karparthy 测试集上的结果（149.6 CIDEr）。OFA 还在 COCO 图像字幕在线排行榜上排名第一 链接（标记为 M6-Team）。

要预训练 OFA，您首先需要下载我们提供的数据集（pretrain_data_examples.zip, 是原始预训练数据的一个小子集）。对于您自定义的预训练数据集，请将您的训练样本准备成相同的格式。pretrain_data_examples.zip 包含 4 个 TSV 文件： vision_language_examples.tsv, text_examples.tsv, image_examples.tsv 和 detection_examples.tsv。这些文件的详细信息如下：

• vision_language_examples.tsv: 每行包含唯一 ID、图像（base64 字符串）、字幕、问题、答案、真实物体（出现在字幕或问题中的物体）、数据来源名称以及任务类型（字幕、问答或视觉定位）。适用于视觉定位、基于上下文的字幕生成、图文匹配、图像字幕生成和视觉问答等预训练任务。
• text_examples.tsv: 每行包含唯一 ID 和文本。适用于文本填充任务的预训练。
• image_examples.tsv: 每行包含唯一 ID、图像（base64 字符串，需调整为 256*256 分辨率）和图像码（通过 VQ-GAN 为图像中心部分生成稀疏码）。适用于图像填充任务的预训练。
• detection_examples.tsv: 每行包含唯一 ID、图像（base64 字符串）和边界框标注（包含边界框的左上角和右下角坐标、物体 ID 和物体名称，用逗号分隔）。适用于目标检测任务的预训练。

默认情况下，预训练脚本会尝试恢复已发布的 OFA-Base 或 OFA-Large 预训练检查点，并继续进行预训练。建议采用持续预训练的方式，相比从零开始预训练，效果要好得多。对于持续预训练，请提前下载预训练权重（见 checkpoints.md) 并将其放置在正确的目录 OFA/checkpoints/ 中。否则，预训练将从零开始。

cd run_scripts/pretraining
bash pretrain_ofa_large.sh # 预训练 OFA-Large。对于 OFA-Base，使用 pretrain_ofa_base.sh

如果成功恢复了预训练的 OFA 检查点，您将在日志中看到以下信息：

INFO: Loaded checkpoint ../../checkpoints/ofa_large.pt

下载数据（参见 datasets.md) 和模型（参见 checkpoints.md)，并将其放置到正确的目录中。数据集压缩包 caption_data.zip 包含 caption_stage1_train.tsv、caption_stage2_train.tsv、caption_val.tsv 和 caption_test.tsv。在 caption_stage1_train.tsv 中，每张图片仅对应 1 条字幕；而在其他 TSV 文件中，每张图片则对应多条字幕（平均每张图片约 5 条）。数据集中的每一行代表一个字幕样本，格式如下：唯一 ID、图片 ID、字幕、预测的物体标签（来自 VinVL,未使用）、图片 Base64 字符串，各字段之间用制表符分隔。

162365  12455   太阳从码头后的树林上落下。天空&&水&&码头&&杆  /9j/4AAQSkZJ....UCP/2Q==

按照以往的标准做法，我们将图像字幕生成的微调过程分为两个阶段。在第一阶段，我们使用交叉熵损失在 4 张配备 32GB 显存的 NVIDIA-V100 GPU 上对 OFA 进行微调（预计在此阶段可在验证集上获得约 139.5 的 CIDEr 分数）。在第二阶段，我们选择第一阶段的最佳检查点，并在 8 张 NVIDIA-V100 GPU 上以 CIDEr 优化目标进行训练。请注意，CIDEr 优化非常不稳定，需要仔细调整超参数。如果在第二阶段的微调过程中遇到训练错误，可以尝试增大批量大小或降低学习率。若仍无效，可以直接设置--freeze-resnet来冻结批归一化的内部状态。

cd run_scripts/caption
nohup sh train_caption_stage1.sh > train_stage1.out &  # 第一阶段，使用交叉熵损失训练
nohup sh train_caption_stage2.sh > train_stage2.out &  # 第二阶段，加载第一阶段的最佳检查点，并以 CIDEr 优化目标训练 

运行以下命令以获取您的结果并评估您的模型。

cd run_scripts/caption ; sh evaluate_caption.sh  # 推理与评估

下载数据（参见 datasets.md) 和模型（参见 checkpoints.mdcoco_image_gen.zip 包含 coco_vqgan_train.tsv、coco_vqgan_dev.tsv 和 coco_vqgan_full_test.tsv。数据集中的每一行代表一个样本，格式如下：唯一 ID、图像编码（由 vqgan 生成，由单个空格分隔的整数列表）、小写形式的字幕，各字段之间用制表符分隔。

1	6674 4336 4532 5334 3251 5461 3615 2469 ...4965 4190 1846	人们正在摆姿势合影。

检查点压缩包 image_gen_large_best.zip 包含 image_gen_large_best.pt、vqgan/last.ckpt、vqgan/model.yaml 和 clip/Vit-B-16.pt。

（可选，但效果更好）：如果磁盘存储空间充足，建议提前为每个 epoch 准备打乱后的训练数据。

cd dataset/image_gen
ln coco_vqgan_train.tsv coco_vqgan_train_1.tsv
for idx in `seq 1 9`;do shuf coco_vqgan_train_${idx}.tsv > coco_vqgan_train_$[${idx}+1].tsv;done # 每个文件用于一个 epoch

按照以往的做法，我们将图像生成的微调过程分为两个阶段。在第一阶段，我们使用交叉熵损失在 4 台 8 张 V100-32G-GPU 的服务器上对 OFA 进行微调（预计在此阶段可在验证集上获得约 32.5+ 的 CLIP 分数）。在第二阶段，我们选择第一阶段的最后一份检查点，并在 4 台 8 张 V100-32G-GPU 的服务器上以 CLIP 分数优化目标进行训练（预计在此阶段可在验证集上获得约 34.0+ 的 CLIP 分数）。在验证过程中，生成的图像将被保存到 _GEN_IMAGE_PATH_。

# 在按照 train_image_gen_stage1_distributed.sh 中的指南正确设置分布式和数据配置后，在每个工作节点上运行
cd run_scripts/image_gen
nohup sh train_image_gen_stage1_distributed.sh # 第一阶段，使用交叉熵损失训练
nohup sh train_image_gen_stage2_distributed.sh # 第二阶段，加载第一阶段的最后一份检查点，并以 CLIP 分数优化目标训练 

运行下方命令以生成您的图像。

cd run_scripts/image_gen ; sh evaluate_image_gen.sh  # 推理与评估（FID、IS 和 CLIP 分数）

下载数据（参见 datasets.md）和模型（参见 checkpoints.md），并将它们放置在正确的目录中。数据集压缩包 vqa_data.zip 大约 100G，解压后占用约 135G 的磁盘空间，其中包含了训练、验证和测试样本以及其他必要的数据资源。（由于 vqa_data.zip 文件较大，我们还提供了分块的数据文件，以便更方便、更稳定地下载。请参考 issue #68。）按照惯例，VG-QA 样本也被纳入了训练数据。为了适配 OFA 的序列到序列范式，我们将原始 VQA 训练问题中包含多个正确答案的情况转换为多个训练样本。对于原始的 VQA 验证集，我们保留大约 1 万个样本用于验证，并将其他样本用于训练。数据集中的每一行代表一个 VQA 样本，格式如下：question-id、image-id、问题、答案（带置信度）、预测的物体标签（来自 VinVL, 可带来约 +0.1 的准确率提升）、图像 base64 字符串，各字段之间用制表符分隔。

79459   79459   这个人穿短裤吗？  0.6|!+no    house&&short&&...&&sky  /9j/4AAQS...tigZ/9k=

如果需要针对自定义的 VQA 任务进行微调，请参阅 issue #76、#105 和 #73 获取更多信息。

（可选，但能提高微调准确率）：如果磁盘空间充足，我们建议提前为每个 epoch 准备打乱后的训练数据。在我们的实验中，使用打乱数据的方法可以使 VQA 准确率提升约 +0.3。

cd dataset/vqa_data
ln vqa_train.tsv vqa_train_1.tsv
for idx in `seq 1 9`;do shuf vqa_train_${idx}.tsv > vqa_train_$[${idx}+1].tsv;done # each file is used for an epoch

在我们的实验中，VQA 微调是在 4 台配备 8 张 A100 GPU 的服务器上进行的（带有 RDMA）。这里提供了微调脚本 train_vqa_distributed.sh,支持多机分布式训练（也支持单机训练）。请参考脚本开头的注释，并根据您的分布式环境正确设置配置。如果您在上一步中已经打乱了训练数据，请按照脚本注释中的指南正确指定训练数据路径。该命令应在每台工作节点上执行。

# 在按照 train_vqa_distributed.sh 中的指南正确设置分布式和数据配置后，在每台工作节点上运行
cd run_scripts/vqa
bash train_vqa_distributed.sh 

在我们的实验中，微调大约耗时 36 小时（共 12 个 epoch）。每个 epoch 结束后都会在验证集上进行评估。微调过程中最佳的验证准确率约为 80.8。日志会保存在 ${log_dir} 中。

（关于验证耗时的更新） 如将在 4. 推理 节中提到的那样，我们准备了两种推理方式：束搜索和全候选推理。默认情况下，微调期间的验证采用全候选推理，这种方式虽然准确率更高，但耗时较长。现在我们在训练脚本中增加了一个名为 --val-inference-type 的新选项，用于切换微调期间的验证推理类型。如果您觉得验证耗时过长，可以参考 PR #79 启用束搜索验证，这样可以显著减少时间消耗，不过相比全候选验证，准确率会下降约 0.5–0.6。

我们提供两种推理方式：束搜索（速度更快，但准确率稍低）和 全候选评估（速度较慢，但准确率最高）。

对于束搜索推理，使用脚本 evaluate_vqa_beam.sh。请参考以下命令。在测试集上的推理大约需要 16 个 GPU 小时。推理完成后，结果 JSON 文件会保存在 shell 脚本中定义的 ${result_path} 目录下。您可以将结果文件 test_predict.json 提交到 EvalAI。使用我们发布的微调检查点，束搜索推理可以获得 80.15 的验证准确率、79.36 的 test-dev 准确率以及 79.48 的 test-std 准确率（比全候选评估低约 0.6）。

cd run_scripts/vqa
bash evaluate_vqa_beam.sh val # 指定 'val' 或 'test'

对于全候选评估，我们建议使用分布式脚本 evaluate_vqa_allcand_distributed.sh。请在运行前参考脚本中的说明设置分布式配置。结果 JSON 文件会保存在 rank-0 服务器的 shell 脚本中定义的 ${result_path} 目录下。全候选评估会计算 VQA 数据集中所有候选答案的得分，从而达到 80.82 的验证准确率、79.87 的 test-dev 准确率以及 80.02 的 test-std 准确率，复现我们论文中报告的结果。然而，对测试集的推理大约需要 1000 个 GPU 小时，速度较慢。

# 在按照 evaluate_vqa_allcand_distributed.sh 中的指南正确设置分布式配置后，在每台工作节点上运行
cd run_scripts/vqa
bash evaluate_vqa_allcand_distributed.sh val # 指定 'val' 或 'test'

下载数据（参见 datasets.md) 和模型（参见 checkpoints.md)，并将其放置到正确的目录中。我们提供了 RefCOCO（UNC 分割）、RefCOCO+（UNC 分割）和 RefCOCOg（UMD 分割）数据集。更多详情请参阅 RefCOCO 和 Refer。请注意，在原始数据集中，每个区域坐标（或边界框）可能对应多个描述性文本。我们将这些文本拆分为多个样本，使得每个样本中的区域坐标仅对应一个文本。处理后的数据集每行代表一个样本，格式如下：uniq-id、image-id、文本、区域坐标（以逗号分隔）以及图像的 Base64 编码字符串，各字段之间用制表符分隔。

79_1    237367  一位身穿白色衬衫的女子手持一杯葡萄酒。  230.79,121.75,423.66,463.06 9j/4AAQ...1pAz/9k=

与原论文不同，我们使用 0.2 的丢弃路径率对 OFA 进行微调，并发现采用该超参数进行训练可以获得更好的效果。我们将在稍后更新论文中报告的结果。

cd run_scripts/refcoco
nohup sh train_refcoco.sh > train_refcoco.out &  # 针对 refcoco 进行微调
nohup sh train_refcocoplus.sh > train_refcocoplus.out &  # 针对 refcoco+ 进行微调
nohup sh train_refcocog.sh > train_refcocog.out &  # 针对 refcocog 进行微调

运行以下命令进行评估。

cd run_scripts/refcoco ; sh evaluate_refcoco.sh  # 针对 refcoco/refcoco+/refcocog 进行推理与评估

下载数据（参见 datasets.md) 和模型（参见 checkpoints.md)，并将其放置到正确的目录中。处理后的数据集每行代表一个样本，格式如下：uniq-id、image-id、图像 Base64 编码字符串、假设、标题（或文本前提）以及标签，各字段之间用制表符分隔。

252244149.jpg#1r1n  252244149   /9j/4AAQ...MD/2Q==   一位身穿粉金色衣服的男子正在咀嚼一根木制牙签。   地铁上，一位身穿粉色衣服的男子正在咀嚼牙签。   中性 

在我们的实验中，SNLI-VE 的微调是在 8 张配备 32GB 显存的 NVIDIA-V100 GPU 上进行的。在此任务中，我们仅尝试了几组超参数。我们认为，适当的超参数调优可以进一步提升准确率。

cd run_scripts/snli_ve
nohup sh train_snli_ve.sh > train_snli_ve.out &  # 针对 snli_ve 进行微调

运行以下命令以获取结果。

cd run_scripts/snli_ve ; sh evaluate_snli_ve.sh dev  # 指定 'dev' 或 'test'

下载数据（参见 datasets.md) 和模型（参见 checkpoints.md)，并将其放置到正确的目录中。我们提供了来自 GLUE 基准测试的 7 个语言理解数据集，包括 COLA、MNLI、MRPC、QNLI、QQP、RTE 和 SST2。有关这些数据集的更多详细信息，请参阅此 链接。

对于每个任务，我们尝试了多组超参数（包括学习率、批量大小、训练轮数）。不同超参数设置下的结果可在 ${log_dir} 中找到。

cd run_scripts/glue
nohup sh train_cola.sh > train_cola.out &  # 针对 cola 进行微调
nohup sh train_mnli.sh > train_mnli.out &  # 针对 mnli 进行微调
nohup sh train_mrpc.sh > train_mrpc.out &  # 针对 mrpc 进行微调
nohup sh train_qnli.sh > train_qnli.out &  # 针对 qnli 进行微调
nohup sh train_qqp.sh > train_qqp.out &  # 针对 qqp 进行微调
nohup sh train_rte.sh > train_rte.out &  # 针对 rte 进行微调
nohup sh train_sst2.sh > train_sst2.out &  # 针对 sst2 进行微调

下载数据（参见 datasets.md) 和模型（参见 checkpoints.md)，并将它们放置到正确的目录中。我们提供的数据源自原始的 ImageNet-1K (ILSVRC2012 训练集与验证集) 数据集，并与其保持相同的数据划分。为了将分类任务转化为序列到序列范式，我们使用 Caffe 提供的 synset 词汇 作为每个图像类别的生成目标。处理后的数据集中，每行代表一个样本，格式如下：图像的 base64 编码字符串、分类标签（从 1 开始计数，与 synset_words.txt 中的顺序一致）以及该标签对应的 synset 词汇，三者之间以制表符分隔。

_9j_4AAQS...fzX__Z  769 橄榄球

（可选，但能提升微调准确率）：如果磁盘存储空间充足，我们建议提前为每个 epoch 准备好打乱顺序的训练数据。在我们的实验中，采用打乱顺序的方式使 ImageNet-1K 准确率提升了约 +0.2。

cd dataset/imagenet_1k_data
ln imagenet_1k_train.tsv imagenet_1k_train_1.tsv
for idx in `seq 1 9`;do shuf imagenet_1k_train_${idx}.tsv > imagenet_1k_train_$[${idx}+1].tsv;done # 每个文件依次用于一个 epoch

在我们的实验中，ImageNet-1K 的微调是在两台配备 8 张 A100 GPU 的服务器上进行的（支持 RDMA)。这里提供微调脚本 train_imagenet_distributed.sh,它支持多机分布式训练（同时也支持单机训练）。请参考脚本开头的注释，并根据您的分布式环境正确设置配置。如果您在上一步中已经对训练数据进行了打乱，请按照脚本注释中的指引正确指定训练数据路径。该命令应在每台工作节点上执行。 为了在微调过程中快速评估，我们默认会从原始验证集划分出 20% 的子集，并在每个 epoch 结束后报告该子集上的准确率。验证子集上的准确率通常与完整验证集上的准确率相差 ±0.1。

# 在按照 train_imagenet_distributed.sh 中的指南正确设置分布式及数据配置后，在每台工作节点上运行
cd run_scripts/image_classify
bash train_imagenet_distributed.sh

在我们的实验中，微调大约耗时 80 小时（共 32 个 epoch）。微调过程中验证子集上的最佳准确率约为 85.0。日志会保存在 ${log_dir} 目录下。

若要获得完整的 ImageNet-1K 验证集上的准确率，请运行以下命令。评估大约需要 10 个 GPU 小时。准确率将在标准输出中显示（预计约为 85.0)。

cd run_scripts/image_classify ; sh evaluate_imagenet.sh  # 对 ImageNet-1K 进行推理与评估

下载数据（参见 datasets.md) 和模型（参见 checkpoints.mdUniLM，我们将其整理为 tsv 格式。处理后的数据集中，每行代表一个样本，格式如下：源文本和目标文本之间以制表符分隔。

工厂订单在九月份增长了 #.#%... 美国九月份工厂订单增长了 #.#%

运行以下命令来训练模型。

cd run_scripts/gigaword
nohup sh train_gigaword.sh > train_gigaword.out &  # 为 Gigaword 进行微调

运行以下命令以获取结果（约 36.43 的 rougeL 分数）。

cd run_scripts/gigaword ; sh evaluate_gigaword.sh  # 对 Gigaword 进行推理与评估