MultiBench：多模态表征学习的多尺度基准测试

MultiBench 官网

文档，教程与示例

贡献者

联系人：

• Paul Pu Liang (pliang@cs.cmu.edu)
• Yiwei Lyu (yiweilyu@umich.edu)
• Xiang Fan (xiangfan@cmu.edu)
• Zetian Wu (zwu49@jhu.edu)
• Yun Cheng (yc6206@cs.princeton.edu)
• Arav Agarwal (arava@andrew.cmu.edu)
• Jason Wu (jsonwu@cmu.edu)
• Leslie Chen (lesliechen1998@gmail.com)
• Peter Wu (peterw1@cs.cmu.edu)
• Michelle A. Lee (michellelee@cs.stanford.edu)
• Yuke Zhu (yukez@cs.utexas.edu)
• Ruslan Salakhutdinov (rsalakhu@cs.cmu.edu)
• Louis-Philippe Morency (morency@cs.cmu.edu)

论文

MultiZoo & MultiBench：多模态深度学习的标准化工具包
Paul Pu Liang, Yiwei Lyu, Xiang Fan, Arav Agarwal, Yun Cheng, Louis-Philippe Morency, Ruslan Salakhutdinov
JMLR 2022 开源软件。

MultiBench：多模态表征学习的多尺度基准测试
Paul Pu Liang, Yiwei Lyu, Xiang Fan, Zetian Wu, Yun Cheng, Jason Wu, Leslie Chen, Peter Wu, Michelle A. Lee, Yuke Zhu, Ruslan Salakhutdinov, Louis-Philippe Morency
NeurIPS 2021 数据集与基准测试赛道。

如果您觉得本仓库有用，请引用我们的论文及相应软件包：

@article{liang2023multizoo,
  title={MULTIZOO \& MULTIBENCH: A Standardized Toolkit for Multimodal Deep Learning},
  author={Liang, Paul Pu and Lyu, Yiwei and Fan, Xiang and Agarwal, Arav and Cheng, Yun and Morency, Louis-Philippe and Salakhutdinov, Ruslan},
  journal={Journal of Machine Learning Research},
  volume={24},
  pages={1--7},
  year={2023}
}

@inproceedings{liang2021multibench,
  title={MultiBench: Multiscale Benchmarks for Multimodal Representation Learning},
  author={Liang, Paul Pu and Lyu, Yiwei and Fan, Xiang and Wu, Zetian and Cheng, Yun and Wu, Jason and Chen, Leslie Yufan and Wu, Peter and Lee, Michelle A and Zhu, Yuke and others},
  booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 1)},
  year={2021}
}

概述

学习多模态表征涉及整合来自多个异构数据源的信息。这是一个充满挑战但又至关重要的领域，在多媒体、情感计算、机器人技术、金融、人机交互和医疗健康等多个现实应用场景中具有广泛的应用价值。然而，目前多模态研究在以下三个方面仍面临资源不足的问题：(1) 跨领域和跨模态的泛化能力；(2) 训练和推理过程中的复杂性；以及 (3) 对噪声和缺失模态的鲁棒性。

为了加速对尚未充分研究的模态和任务的研究进展，并确保其在实际应用中的鲁棒性，我们发布了 MultiBench，这是一个系统化、统一的大规模多模态学习基准测试平台，涵盖 15 个数据集、10 种模态、20 个预测任务和 6 个研究领域。MultiBench 提供了一个自动化的端到端机器学习流水线，简化并标准化了数据加载、实验设置和模型评估流程。为反映真实世界的需求，MultiBench 旨在全面评估：(1) 跨领域和跨模态的性能；(2) 训练和推理过程中的复杂性；以及 (3) 对噪声和缺失模态的鲁棒性。

为配合 MultiBench，我们还提供了一套标准化的多模态学习核心方法实现，即 MultiZoo，它整合了融合范式、优化目标和训练方法等方面的创新成果。MultiZoo 以模块化的方式实现了这些方法，从而便于新研究人员上手，支持方法的组合使用，并确保结果的可重复性。

当前支持的数据集

1. 情感计算：MUStARD、CMU-MOSI、UR-FUNNY、CMU-MOSEI
2. 医疗健康：MIMIC
3. 机器人技术：MuJoCo Push、Vision & Touch
4. 金融：股票-食品、股票-健康、股票-科技
5. 人机交互：ENRICO
6. 多媒体：AV-MNIST、MM-IMDb、Kinetics-S、Kinetics-L
7. RTFM 环境

添加新数据集的步骤：

1. 进入 datasets/ 目录。
2. 如有必要，创建一个新的文件夹。
3. 编写一个 Python 文件，其中包含一个 get_dataloader 函数，该函数应返回一个包含三个 DataLoader 的元组（分别对应训练、验证和测试数据），且这些 DataLoader 中应包含预处理后的数据。请参考现有示例（如 avmnist：datasets/avmnist/get_data.py）。
4. 进入 examples/ 目录，编写一个基于现有示例的训练 Python 示例文件。
5. 检查调用 DataLoader 并运行简单训练脚本是否正常工作。

支持的算法

各部分的详细描述请参见附录 F 部分。

1. 单模态模型：MLP、GRU、LeNet、CNN、LSTM、Transformer、FCN、随机森林、ResNet 等（参见 unimodals/ 目录）。
2. 融合范式：早期/晚期融合、NL-gate、张量融合、乘法交互、低秩张量融合等（参见 fusions/ 目录）。
3. 优化目标：（默认：分类任务使用 CrossEntropyLoss，回归任务使用 MSELoss）、ELBO、加权重建损失、CCA 损失、对比损失等（参见 objective_functions/ 目录）。
4. 训练结构：监督学习（支持早期融合、晚期融合、MVAE、MFM 等）、梯度混合、架构搜索等（参见 training_structures/ 目录）。

添加新算法的步骤：

1. 确定将其添加到哪个子目录：
   • unimodals/：单模态架构。
   • fusions/：多模态融合架构。
   • objective_functions/：除监督训练损失外的其他目标函数（如 VAE 损失、对比损失）。
   • training_structures/：不包括目标函数的训练算法（如平衡泛化、架构搜索的外部强化学习循环）。
2. 参照 examples/ 目录中的示例，编写一个基于现有示例的训练 Python 示例文件。
3. 检查调用新增函数并运行简单训练脚本是否正常工作。
4. 确保您的新模块在输入输出格式和形状等方面有清晰的注释说明。

研究领域、数据集、任务、算法和评估的公开征集

我们欢迎通过新增研究领域、数据集、任务、算法和评估来为 MultiBench 做出贡献。请参阅上方各部分，了解如何添加新的数据集和算法；如果您希望添加特定的数据集或算法，请提交一个拉取请求。我们计划将 MultiBench 作为未来研讨会、竞赛和学术课程的主题——敬请关注后续的参与邀请！

实验

情感计算

我们发布了经过处理的数据集：sarcasm、mosi、mosei、humor。原始数据集同样可在以下位置公开获取：MOSI 和 MOSEI 的 MultimodalSDK，以及 MUsTARD 和 UR-Funny。您可以通过 datasets/affect/get_data.py 获取处理后的数据，请注意，“sarcasm”指代的是 MUsTARD，而“humor”则指代 UR-Funny。

examples/affect/ 目录下提供了若干运行情感计算数据集的示例脚本。例如，要使用简单的晚期融合方法运行情感数据集，首先可以使用：

traindata, validdata, test_robust = get_dataloader('/home/pliang/multibench/affect/pack/mosi/mosi_raw.pkl', data_type='mosi')

或者，如果您不想使用打包数据，而是希望数据具有相同的最大序列长度，可以使用 max_pad 和 max_seq_len 参数，并记得在 train 和 test 函数中将 is_packed 设置为 False：

traindata, validdata, testdata = get_dataloader('/home/pliang/multibench/affect/pack/mosi/mosi_raw.pkl', data_type='mosi', max_pad=True, max_seq_len=50)

随后执行：

python3 examples/affect/affect_late_fusion.py

医疗健康

MIMIC 数据集属于受限访问资源。如需获取该数据集的预处理版本，请按照 此处 的说明申请必要的访问权限。获得访问凭证后，请将凭证证明发送至 yiweilyu@umich.edu，并索取预处理后的 ‘im.pk’ 文件。

收到 ‘im.pk’ 文件后，您可以通过调用 examples/mimic/get_data.py 中的 get_dataloader 函数来获取该数据集的数据加载器。get_dataloader 函数接受两个参数：第一个参数指定您想要执行的任务（-1 表示死亡率预测任务，1 表示 ICD-9 10–19 任务，7 表示 ICD-9 70–79 任务）。输入模态包括静态特征（大小为 5 的向量）和时间序列数据（形状为 24×30）。

examples/healthcare/ 目录下提供了若干运行 MIMIC 数据集的示例脚本。例如，要使用低秩张量融合方法运行 MIMIC 数据集，可执行：

python3 examples/healthcare/mimic_low_rank_tensor.py

机器人学

视觉与触觉

对于视觉与触觉数据集，下载脚本已包含在 dataset/robotics/ 文件夹中（download_data.sh）。数据下载完成后，可使用 dataset/robotics/data_loader.py 来访问预处理后的数据加载器。请注意，该数据集仅包含训练集和验证集，因此输出将是一个由两个数据加载器组成的元组，而非三个。默认任务为接触任务，但您也可以通过在 get_data 函数中传入 output='ee_yaw_next' 参数来获取末端执行器任务的数据加载器。

有关该数据集的更多详细信息，请参阅其原始 仓库。

examples/robotics/ 目录下提供了若干运行视觉与触觉数据集的示例脚本。例如，要在接触任务上使用低秩张量融合方法运行视觉与触觉数据集，可执行：

python3 examples/robotics/LRTF.py

MuJoCo 推送（轻推）

MuJoCo 推送实验的相关代码位于 examples/gentle_push 目录下。该目录下的每个模型类型都有各自的 Python 文件，可以直接运行以进行实验。

例如，要运行晚期融合模型：

python examples/gentle_push/LF.py

首次运行时，该命令还会将数据集下载到 datasets/gentle_push/cache 目录下。由于原始数据集托管在 Google Drive 上，有时自动下载可能会因各种原因失败。我们观察到，在 Colab 上运行可以解决这一问题。此外，您也可以手动下载这些文件并将其放置到正确的位置：

• 下载 gentle_push_10.hdf5 至 datasets/gentle_push/cache/1qmBCfsAGu8eew-CQFmV1svodl9VJa6fX-gentle_push_10.hdf5。
• 下载 gentle_push_300.hdf5 至 datasets/gentle_push/cache/18dr1z0N__yFiP_DAKxy-Hs9Vy_AsaW6Q-gentle_push_300.hdf5。
• 下载 gentle_push_1000.hdf5 至 datasets/gentle_push/cache/1JTgmq1KPRK9HYi8BgvljKg5MPqT_N4cR-gentle_push_1000.hdf5。

金融

金融实验的代码位于 examples/finance 目录下。该目录下每个模型类型都有一个对应的 Python 文件。每个文件接受两个参数：--input-stocks 和 --target-stock。例如，要在论文中基准测试的股票上运行简单的晚期融合：

python examples/finance/stocks_late_fusion.py --input-stocks 'MCD SBUX HSY HRL' --target-stock 'MCD'
python examples/finance/stocks_late_fusion.py --input-stocks 'AAPL MSFT AMZN INTC AMD MSI' --target-stock 'MSFT'
python examples/finance/stocks_late_fusion.py --input-stocks 'MRK WST CVS MCK ABT UNH TFX' --target-stock 'UNH'

您可以指定任意要下载的股票。数据加载器会自动为您下载数据。如果这些股票不涵盖 datasets/stocks/get_data.py 中定义的时间范围，则可以指定不同的时间范围。

对于单模态实验，请使用相同的股票作为 --input-stocks 和 --target-stock 参数，运行 stocks_early_fusion.py。

以下是论文中概述的每个类别下的完整股票列表：

食品与饮料 (18): CAG CMG CPB DPZ DRI GIS HRL HSY K KHC LW MCD MDLZ MKC SBUX SJM TSN YUM
健康 (63): ABT ABBV ABMD A ALXN ALGN ABC AMGN ANTM BAX BDX BIO BIIB BSX BMY CAH CTLT CNC CERN CI COO CVS DHR DVA XRAY DXCM EW GILD HCA HSIC HOLX HUM IDXX ILMN INCY ISRG IQV JNJ LH LLY MCK MDT MRK MTD PKI PRGO PFE DGX REGN RMD STE SYK TFX TMO UNH UHS VAR VRTX VTRS WAT WST ZBH ZTS
科技 (100): AAPL ACN ADBE ADI ADP ADSK AKAM AMAT AMD ANET ANSS APH ATVI AVGO BR CDNS CDW CHTR CMCSA CRM CSCO CTSH CTXS DIS DISCA DISCK DISH DXC EA ENPH FB FFIV FIS FISV FLIR FLT FOX FOXA FTNT GLW GOOG GOOGL GPN HPE HPQ IBM INTC INTU IPG IPGP IT JKHY JNPR KEYS KLAC LRCX LUMN LYV MA MCHP MPWR MSFT MSI MU MXIM NFLX NLOK NOW NTAP NVDA NWS NWSA NXPI OMC ORCL PAYC PAYX PYPL QCOM QRVO SNPS STX SWKS T TEL TER TMUS TRMB TTWO TWTR TXN TYL V VIAC VRSN VZ WDC WU XLNX ZBRA

人机交互

人机交互实验的代码位于 examples/hci 目录下。 我们的实验使用 ENRICO 数据集，其中包含应用程序截图及其 UI 布局。应用屏幕被分为 20 种不同的设计类别。

单模态示例可以通过以下命令运行：

截图模态

python examples/hci/enrico_unimodal_0.py

UI 布局模态

python examples/hci/enrico_unimodal_1.py

多模态示例也在同一目录中。例如：

简单晚期融合

python examples/hci/enrico_simple_late_fusion.py

多媒体

要访问 AV-MNIST，请从 这里 下载 avmnist.tar.gz 文件并解压。然后，将 avmnist 文件的位置输入到 datasets/avmnist/get_data.py 脚本中的 get_dataloader 函数中。输入模态为黑白图像（28x28 张量）和音频频谱图（112x112 张量）。

在 examples/multimedia/ 目录下有几个运行 AV-MNIST 的示例脚本。例如，要使用简单晚期融合和拼接方法运行视觉和触觉模态，可以执行：

python examples/multimedia/avmnist_simple_late_fusion.py

要访问 MM-IMDb，请从 这里 下载 multimodal_imdb.hdf5 文件，并且我们还使用来自 这里 的原始数据来测试模型的鲁棒性。

在 examples/multimedia/ 目录下有几个运行 MM-IMDb 的示例脚本。要运行实验，需要将 hdf5 文件的位置输入到每个示例中的 get_dataloader 函数中。然后，以文本和图像为例，使用简单晚期融合和拼接方法，可以执行：

python examples/multimedia/mmimdb_simple_late_fusion.py

Kinetics 数据集的脚本位于 special 目录中。运行相应的脚本时，请使用 python special/kinetics_*.py。

要访问 Clotho 数据集，需在您的设备上克隆 clotho-dataset 仓库，并按照该仓库的 ReadMe 文件中的说明下载和预处理数据（采用一步式预处理方法）。要获取数据加载器，需将 “clotho-dataset” 仓库的路径输入到 datasets/clotho/get_data.py 脚本中的 get_dataloaders 函数中。默认数据包括音频特征（填充至 2574x64）和文本字幕索引（填充至 20x18）。

评估

复杂度

我们有一个脚本 (eval_scripts/complexity.py) 用于记录训练和测试的复杂度数据，包括峰值内存、参数数量和训练时间，以及测试时的参数数量和时间。您需要安装 memory_profiler 才能运行此脚本。它提供了两个有用的功能：all_in_one_train，可接收训练过程的函数引用以及所有参与训练的模块，运行训练过程并输出总运行时间、峰值内存和总参数数量；all_in_one_test，可接收测试过程的函数引用以及所有参与测试的模块，运行测试过程并输出总运行时间和总参数数量。

有关示例用法，请参阅 examples/healthcare/mimic_baseline_track_complexity.py（该脚本将复杂度测量添加到了 examples/healthcare/mimic_baseline.py 脚本中）。

鲁棒性

特定于模态和多模态的不完美实现位于 robustness 目录下，按模态分类组织。我们有一个脚本 (eval_scripts/robustness.py) 可以报告针对特定模态和多模态不完美数据的测试鲁棒性指标。它还会绘制性能-不完美曲线并保存到默认目录。

所有鲁棒性实验现在都已集成到标准的训练/测试脚本中。

我们使用相对鲁棒性和有效鲁棒性这两个指标，以及两者的结合，来可视化实验结果。这些图表显示了准确性和鲁棒性之间的权衡：

参考文献

补丁说明 / 重大更新

2021年6月11日：重构了部分代码。具体来说，我们弃用了 Simple_Early_Fusion、Simple_Late_Fusion、MVAE、MFM、CCA 以及对比学习等训练结构，代之以新的 Supervised_Learning 训练结构，并相应地修改了 examples/ 目录下的部分文件。此外，我们将用于鲁棒性实验的数据加载器和测试脚本整合到了常规版本中。被弃用的训练结构及其示例位于 deprecated_training_structures/ 和 deprecated_examples/ 文件夹中；专门用于鲁棒性实验的已弃用数据加载器和测试脚本则位于 deprecated_dataloaders/ 和 deprecated_examples_robust/ 文件夹中。

2021年7月9日：新增对 Clotho（音频字幕生成）、Yummly-28K（图像-文本检索）以及 RTFM（语言引导的强化学习）任务的支持。我们计划以此为起点，逐步扩展该仓库，使其涵盖问答、检索、生成式任务以及强化学习等多种任务类型。

MultiBench 快速上手指南

MultiBench 是一个系统化、统一的大规模多模态学习基准测试工具，涵盖 15 个数据集、10 种模态和 20 项预测任务。它提供了自动化的端到端机器学习流水线，简化了数据加载、实验设置和模型评估，旨在全面评估模型在跨域泛化、训练复杂度以及对噪声和缺失模态的鲁棒性方面的表现。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04+) 或 macOS。Windows 用户建议使用 WSL2。
• Python 版本: Python 3.7 或更高版本。
• 深度学习框架: PyTorch (建议版本 1.8+)。
• 其他依赖: numpy, scikit-learn, pandas 等常用科学计算库。

前置依赖安装建议： 推荐使用 conda 创建独立虚拟环境以避免依赖冲突。国内用户可使用清华或中科大镜像源加速安装。

# 创建并激活虚拟环境
conda create -n multibench python=3.8
conda activate multibench

# 安装 PyTorch (以 CUDA 11.8 为例，国内用户推荐替换为清华源)
pip install torch torchvision torchaudio --index-url https://pypi.tuna.tsinghua.edu.cn/simple

# 安装其他基础依赖
pip install numpy pandas scikit-learn tqdm matplotlib --index-url https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

克隆 MultiBench 仓库并安装项目依赖：

# 克隆仓库 (国内用户若速度慢可使用 Gitee 镜像或代理)
git clone https://github.com/pliang279/MultiBench.git
cd MultiBench

# 安装项目所需依赖
pip install -r requirements.txt --index-url https://pypi.tuna.tsinghua.edu.cn/simple

注意：如果根目录下没有 requirements.txt，请根据 examples 中的具体示例脚本按需安装缺失的库，或直接运行示例脚本让报错提示引导安装。

基本使用

MultiBench 的核心工作流分为三步：获取数据加载器 (DataLoader) -> 定义模型/融合策略 -> 运行训练脚本。

以下以情感计算领域的 CMU-MOSI 数据集为例，演示如何使用简单的“晚期融合 (Late Fusion)"策略进行训练。

1. 准备数据

部分预处理后的数据集需要手动下载。对于 MOSI 数据集，请下载处理好的 .pkl 文件（参考 README 中的 Google Drive 链接），并将其放置在本地路径，例如 /home/user/multibench/affect/pack/mosi/mosi_raw.pkl。

2. 编写或运行示例脚本

MultiBench 在 examples/ 目录下提供了各领域的标准示例。您可以直接修改现有的示例脚本，或参考其逻辑编写新脚本。

核心代码逻辑示例：

from datasets.avmnist.get_data import get_dataloader # 此处仅为导入示例，实际需引用对应数据集模块
# 针对 MOSI 数据集，通常引用 datasets.affect.get_data 或类似路径
from datasets.affect.get_data import get_dataloader 

# 1. 获取数据加载器
# 参数说明：数据文件路径，数据类型，是否填充至最大长度，最大序列长度
traindata, validdata, testdata = get_dataloader(
    '/home/user/multibench/affect/pack/mosi/mosi_raw.pkl', 
    data_type='mosi', 
    max_pad=True, 
    max_seq_len=50
)

# 2. 定义模型与训练流程
# MultiBench 内置了多种单模态模型 (unimodals) 和融合策略 (fusions)
# 具体的模型实例化和训练循环请参考 examples/affect/affect_late_fusion.py

3. 执行训练

直接使用仓库中提供的示例脚本运行训练。确保已正确修改脚本中的数据路径。

# 运行情感计算领域的晚期融合示例
python3 examples/affect/affect_late_fusion.py

扩展其他领域

MultiBench 支持医疗、机器人、金融等多个领域，使用方法类似：

• 医疗 (MIMIC): 需先申请权限获取 im.pk 文件，然后运行 python3 examples/healthcare/mimic_low_rank_tensor.py。
• 机器人 (Vision & Touch): 运行 datasets/robotics/download_data.sh 下载数据后，执行 python3 examples/robotics/LRTF.py。

更多详细算法实现（如张量融合、对比学习损失函数等）可查看 fusions/, objective_functions/, 和 training_structures/ 目录。