多模态 Transformer | 带有表格数据的 Transformer

---

文档 | Colab 笔记本 | 博客文章

一个用于在文本数据基础上整合多模态数据的工具包，适用于分类和回归任务。它以 HuggingFace 的 Transformer 模型作为文本特征的基础模型。该工具包添加了一个组合模块，该模块不仅接收 Transformer 的输出，还结合类别型和数值型特征，从而生成丰富的多模态特征，供下游的分类或回归层使用。给定一个预训练的 Transformer，组合模块和 Transformer 的参数会根据监督任务进行联合训练。如需简要的文献综述，请参阅 Georgian 影响力博客上的配套 博客文章。

安装

代码是在 Python 3.7 环境下，使用 PyTorch 和 Transformers 4.26.1 开发的。多模态相关的代码位于 multimodal_transformers 文件夹中。

pip install multimodal-transformers

支持的 Transformer 模型

以下 Hugging Face Transformer 模型支持处理表格数据。详细信息请参阅文档 这里。

• BERT 来自 Devlin 等人：BERT：面向语言理解的深度双向 Transformer 预训练（ACL 2019）
• ALBERT 来自 Lan 等人：ALBERT：用于语言表示自监督学习的轻量级 BERT（ICLR 2020）
• DistilBERT 来自 Sanh 等人： DistilBERT，BERT 的精简版：更小、更快、更便宜、更轻（NeurIPS 2019）
• RoBERTa 来自 Liu 等人：RoBERTa：一种鲁棒优化的 BERT 预训练方法
• XLM 来自 Lample 等人：跨语言语言模型预训练（NeurIPS 2019）
• XLNET 来自 Yang 等人： XLNet：面向语言理解的广义自回归预训练（NeurIPS 2019）
• XLM-RoBERTa 来自 Conneau 等人： 大规模无监督跨语言表示学习（ACL 2020）

包含的数据集

此仓库还包括两个 Kaggle 数据集，其中包含文本数据和丰富的表格特征：

• 女性服装电商评论 用于推荐预测（分类）
• 墨尔本 Airbnb 开放数据 用于价格预测（回归）
• PetFindermy 认养预测 用于宠物认养速度预测（多分类）

示例用法

要快速查看这些模型在上述某个数据集上的运行效果，并使用预设配置：

$ python main.py ./datasets/Melbourne_Airbnb_Open_Data/train_config.json

或者，如果您更喜欢使用命令行参数，可以运行：

$ python main.py \
    --output_dir=./logs/test \
    --task=classification \
    --combine_feat_method=individual_mlps_on_cat_and_numerical_feats_then_concat \
    --do_train \
    --model_name_or_path=distilbert-base-uncased \
    --data_path=./datasets/Womens_Clothing_E-Commerce_Reviews \
    --column_info_path=./datasets/Womens_Clothing_E-Commerce_Reviews/column_info.json

main.py 需要一个 json 文件，详细说明数据集中哪些列包含文本、类别型或数值型输入特征。此外，还需要指定存储数据的文件夹路径，其中应包含 train.csv 和 test.csv（如果有的话，还包括 val.csv）。有关参数的更多详细信息，请参阅 multimodal_exp_args.py。

笔记本介绍

要在笔记本中查看各个模块如何协同工作：

包含的方法

组合特征方法	描述	是否需要类别型和数值型特征
仅文本	仅使用由 HuggingFace Transformer 处理后的文本列作为最终分类器层的输入。本质上等同于 HuggingFace 的 ForSequenceClassification 模型	否
拼接	在最终分类器层之前，将 Transformer 输出、数值型特征和类别型特征一次性拼接起来	否
对类别型特征进行 MLP 处理后再拼接	先对类别型特征应用 MLP，再将 Transformer 输出、数值型特征以及处理后的类别型特征拼接在一起，最后送入分类器层	否（需要类别型特征）
分别对类别型和数值型特征应用 MLP 再拼接	分别对类别型和数值型特征应用 MLP，然后将 Transformer 输出、处理过的数值型特征以及处理过的类别型特征拼接起来，再送入分类器层。	否
对拼接后的类别型和数值型特征应用 MLP 再拼接	先对拼接后的类别型和数值型特征应用 MLP，再与 Transformer 输出拼接，最后送入分类器层。	是
对类别型和数值型特征应用注意力机制	基于注意力机制，将 Transformer 输出、数值型特征和类别型特征加权求和，由 Transformer 输出查询后送入分类器层。	否
对类别型和数值型特征进行门控加权求和	在分类器层之前，对 Transformer 输出、数值型特征和类别型特征进行门控加权求和。灵感来源于论文 在大型预训练 Transformer 中整合多模态信息，该论文为每个 token 执行了类似机制。	否
对 Transformer 输出、数值型特征和类别型特征按特征维度进行加权求和	学习每个特征维度上 Transformer 输出、数值型特征和类别型特征的加权求和，然后再送入分类器层。	否

简单的基线模型

在实际应用中，直接将类别型和数值型特征原样处理，仅对其进行分词，并将其作为额外的文本句子与文本列拼接起来，便是一个强大的基线方法。为此，只需将所有类别型和数值型列指定为文本列，并将 combine_feat_method 设置为 text_only。例如，对于 ./datasets 中包含的每个示例数据集，在 train_config.json 文件中将 combine_feat_method 改为 text_only，并将 column_info_path 改为 ./datasets/{dataset}/column_info_all_text.json。

在下文的实验中，该基线对应于“Combine Feat Method”为 unimodal 的情况。

结果

以下表格展示了在两个包含的数据集各自测试集上的实验结果，运行命令为 main.py。未指定的参数均采用默认值。

评论预测

具体的训练参数可在 datasets/Womens_Clothing_E-Commerce_Reviews/train_config.json 中查看。

数据集中包含 2 列文本、3 列类别型特征和 3 列数值型特征。

模型	Combine Feat Method	F1	PR AUC
Bert Base Uncased	text_only	0.957	0.992
Bert Base Uncased	unimodal	0.968	0.995
Bert Base Uncased	concat	0.958	0.992
Bert Base Uncased	individual_mlps_on_cat_and_numerical_feats_then_concat	0.959	0.992
Bert Base Uncased	attention_on_cat_and_numerical_feats	0.959	0.992
Bert Base Uncased	gating_on_cat_and_num_feats_then_sum	0.961	0.994
Bert Base Uncased	weighted_feature_sum_on_transformer_cat_and_numerical_feats	0.962	0.994

定价预测

具体的训练参数可在 datasets/Melbourne_Airbnb_Open_Data/train_config.json 中查看。

数据集中包含 3 列文本、74 列类别型特征和 15 列数值型特征。

模型	Combine Feat Method	MAE	RMSE
Bert Base Multilingual Uncased	text_only	82.74	254.0
Bert Base Multilingual Uncased	unimodal	79.34	245.2
Bert Base Uncased	concat	65.68	239.3
Bert Base Multilingual Uncased	individual_mlps_on_cat_and_numerical_feats_then_concat	66.73	237.3
Bert Base Multilingual Uncased	attention_on_cat_and_numerical_feats	74.72	246.3
Bert Base Multilingual Uncased	gating_on_cat_and_num_feats_then_sum	66.64	237.8
Bert Base Multilingual Uncased	weighted_feature_sum_on_transformer_cat_and_numerical_feats	71.19	245.2

宠物领养预测

具体的训练参数可在 datasets/PetFindermy_Adoption_Prediction 中查看。

数据集中包含 2 列文本、14 列类别型特征和 5 列数值型特征。

模型	Combine Feat Method	F1_macro	F1_micro
Bert Base Multilingual Uncased	text_only	0.088	0.281
Bert Base Multilingual Uncased	unimodal	0.089	0.283
Bert Base Uncased	concat	0.199	0.362
Bert Base Multilingual Uncased	individual_mlps_on_cat_and_numerical_feats_then_concat	0.244	0.352
Bert Base Multilingual Uncased	attention_on_cat_and_numerical_feats	0.254	0.375
Bert Base Multilingual Uncased	gating_on_cat_and_num_feats_then_sum	0.275	0.375
Bert Base Multilingual Uncased	weighted_feature_sum_on_transformer_cat_and_numerical_feats	0.266	0.380

引用

我们现在有一篇关于多模态工具包的论文，您可以引用：论文链接。

@inproceedings{gu-budhkar-2021-package,
    title = "A Package for Learning on Tabular and Text Data with Transformers",
    author = "Gu, Ken  and
      Budhkar, Akshay",
    booktitle = "Proceedings of the Third Workshop on Multimodal Artificial Intelligence",
    month = jun,
    year = "2021",
    address = "Mexico City, Mexico",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2021.maiworkshop-1.10",
    doi = "10.18653/v1/2021.maiworkshop-1.10",
    pages = "69--73",
}

Multimodal-Toolkit 快速上手指南

Multimodal-Toolkit 是一个用于结合文本数据与表格数据（分类/数值特征）进行多模态学习的工具包。它基于 Hugging Face Transformers，通过特定的融合模块将 Transformer 的输出与结构化数据结合，以提升分类和回归任务的效果。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：推荐 Python 3.7 及以上
• 核心依赖：
  • PyTorch
  • Transformers (测试版本为 4.26.1)

提示：国内用户安装 PyTorch 时，建议使用官方提供的国内镜像源加速下载。例如： pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 (根据具体 CUDA 版本调整)

安装步骤

您可以直接通过 pip 安装该工具包：

pip install multimodal-transformers

如果您需要指定国内镜像源以加快安装速度，可以使用：

pip install multimodal-transformers -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

1. 数据配置准备

main.py 脚本需要一个 JSON 配置文件来定义数据列的类型（文本、分类、数值）。您需要准备以下文件：

• 数据文件：train.csv, test.csv (可选 val.csv)
• 列信息文件：column_info.json (描述哪些列是文本、分类或数值特征)

2. 运行示例

方式一：使用预设配置文件运行

如果您已经准备好了类似项目中示例的配置文件（如 train_config.json），可以直接运行：

python main.py ./datasets/Melbourne_Airbnb_Open_Data/train_config.json

方式二：使用命令行参数运行

您也可以通过命令行参数灵活指定任务类型、模型路径和数据位置。以下是一个典型的分类任务示例：

python main.py \
    --output_dir=./logs/test \
    --task=classification \
    --combine_feat_method=individual_mlps_on_cat_and_numerical_feats_then_concat \
    --do_train \
    --model_name_or_path=distilbert-base-uncased \
    --data_path=./datasets/Womens_Clothing_E-Commerce_Reviews \
    --column_info_path=./datasets/Womens_Clothing_E-Commerce_Reviews/column_info.json

关键参数说明：

• --model_name_or_path: 指定使用的 Hugging Face 预训练模型（如 bert-base-uncased, roberta-base 等）。
• --combine_feat_method: 指定多模态特征融合策略。常用选项包括：
  • text_only: 仅使用文本特征（基线）。
  • concat: 直接拼接所有特征。
  • individual_mlps_on_cat_and_numerical_feats_then_concat: 对分类和数值特征分别通过 MLP 处理后，再与文本特征拼接（推荐尝试）。
  • attention_on_cat_and_numerical_feats: 基于注意力机制融合特征。
• --task: 任务类型，classification (分类) 或 regression (回归)。

3. 在线体验 (Colab)

如果您希望先在浏览器中快速体验代码逻辑而无需配置本地环境，可以使用官方提供的 Colab Notebook：

(注：国内访问 Colab 可能需要网络代理，如遇连接问题建议参考上述命令行方式进行本地部署)