M3TL

Multi-Modal Multi-Task Learning

安装

pip install m3tl

是什么

这是一个以 transformers（基于 Hugging Face 的 transformers 库）为基础模型，用于进行多模态多任务学习的项目。

为什么需要这个

多任务学习（MTL）在深度学习时代越来越受到关注，广泛应用于自然语言处理、计算机视觉、推荐系统等领域。然而，多任务学习通常涉及复杂的数据预处理、任务管理和任务间的交互。虽然一些开源项目，如 TencentNLP 和 PyText，也支持多任务学习，但它们的实现方式较为简单，难以直接应用复杂的多任务学习算法。在本项目中，我们致力于让编写多任务学习模型像编写单任务学习模型一样简单，并进一步将多任务学习扩展到多模态场景。为此，我们向用户开放了以下可编程的多任务学习模块：

• 问题采样策略
• 损失组合策略
• 梯度手术
• 基础模型（transformers）后的自定义模型

除了这些可编程模块外，我们还提供了多种现成的 SOTA 多任务学习算法。

总之，你可以使用本项目来：

• 实现复杂的多任务学习算法
• 在无需深入细节的情况下进行 SOTA 多任务学习
• 进行多模态学习

由于我们以 transformers 作为基础模型，你还可以享受到 transformers 所带来的所有优势！

支持哪些类型的任务？

params = Params()
for problem_type in params.list_available_problem_types():
    print('`{problem_type}`: {desc}'.format(
        desc=params.problem_type_desc[problem_type], problem_type=problem_type))

`cls`: 分类
`multi_cls`: 多标签分类
`seq_tag`: 序列标注
`masklm`: 掩码语言模型
`pretrain`: NSP+MLM（已弃用）
`regression`: 回归
`vector_fit`: 向量拟合
`premask_mlm`: 预掩码掩码语言模型
`contrastive_learning`: 对比学习

开始使用

请参阅教程。

M3TL 快速上手指南

M3TL (Multi-Modal Multi-Task Learning) 是一个基于 Hugging Face Transformers 的多模态多任务学习框架。它旨在简化复杂的多任务算法实现，支持从数据采样、损失组合到梯度手术等可编程模块，让开发者能像编写单任务模型一样轻松构建多任务模型。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：建议 Python 3.7 及以上
• 前置依赖：
  • torch (PyTorch)
  • transformers (Hugging Face)
  • numpy
  • scikit-learn

提示：M3TL 底层依赖 Hugging Face Transformers，因此您可以直接享受 Transformers 生态带来的所有预训练模型优势。

安装步骤

您可以通过 pip 直接安装最新版本的 M3TL。

标准安装

pip install m3tl

国内加速安装（推荐）

如果您在中国大陆地区，建议使用清华源或阿里源以加快下载速度：

pip install m3tl -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

M3TL 支持多种任务类型，包括分类、序列标注、回归、对比学习等。以下是查看支持的任务类型及初始化的基本流程。

1. 查看支持的任务类型

运行以下代码即可列出所有内置支持的问题类型及其描述：

from m3tl import Params

params = Params()
for problem_type in params.list_available_problem_types():
    print('`{problem_type}`: {desc}'.format(
        desc=params.problem_type_desc[problem_type], problem_type=problem_type))

输出示例：

• cls: Classification (分类)
• multi_cls: Multi-Label Classification (多标签分类)
• seq_tag: Sequence Labeling (序列标注)
• masklm: Masked Language Model (掩码语言模型)
• regression: Regression (回归)
• contrastive_learning: Contrastive Learning (对比学习)
• ...以及其他类型

2. 构建多任务模型

M3TL 的核心优势在于将复杂的多任务逻辑封装为可配置模块。您只需定义问题采样策略、损失组合策略以及基于 Transformers 的模型结构，即可快速启动多模态多任务训练。

具体的训练循环和详细配置请参考官方 tutorials 目录中的完整示例。