多模态大模型框架 Meta-Transformer ✨✨✨

我们非常高兴地推出 OneLLM，这是一个将 Meta-Transformer 框架与多模态大语言模型相结合的集成系统。该系统支持多模态联合训练🚀，并可处理包括 fMRI、深度图和法线贴图在内的更多模态数据 🚀，在 25 个基准测试中表现出色🚀🚀🚀。

🔥🔥 代码、预训练模型和数据集已在 OneLLM 上公开。

🔥🔥 项目官网为 OneLLM。

🌟 单一基础模型支持广泛的应用场景

作为一款基础模型，Meta-Transformer 可以处理来自 12 种模态的数据，这使其能够支持广泛的应用场景。如图所示，Meta-Transformer 可以为下游任务提供服务，包括股票分析 📈、天气预报 ☀️ ☔ ☁️ ❄️ ⛄ ⚡、遥感 📡、自动驾驶 🚗、社交网络 🌍、语音识别 🔉 等。

表1：Meta-Transformer 能够处理多达 12 种模态，包括自然语言 、RGB 图像 、点云 、音频 、视频 、表格数据 、图结构 、时间序列数据 、高光谱图像 、IMU 数据 、医学影像 以及红外图像 。

🚩🚩🚩 共享编码器、无配对数据、更多模态

本仓库旨在探索 Transformer 在多模态学习中的潜力与扩展性。我们利用 Transformer 处理变长序列的优势，提出了一种基于元方案的 数据到序列 分词方法，并将其应用于文本、图像、点云、音频、视频、红外、高光谱、X 射线、表格、图结构、时间序列以及惯性测量单元（IMU）等 12 种模态的数据。

获得标记序列后，我们使用模态共享的编码器提取跨模态特征表示。结合特定任务的头部，Meta-Transformer 可以处理不同模态上的各类任务，例如分类、检测和分割。

🌟 最新消息

• 2023年8月17日： 发布可以直接从多种模态获取嵌入的代码。我们还将进一步发布利用 Meta-Transformer 进行人机交互视觉任务的代码。
• 2023年8月2日： 🎉🎉🎉 Meta-Transformer 在图像、点云、图结构、表格、时间序列、X 射线、高光谱、LiDAR 数据上的实现已发布。同时，我们也发布了一个功能强大的自动驾驶基础模型 🚀🚀🚀。
• 2023年7月22日： 我们的 Meta-Transformer 预训练权重及使用演示已发布。关于图像模态的全面文档和实现正在开发中，即将发布。敬请期待更多精彩更新！⌛⌛⌛
• 2023年7月21日： 论文已在 arxiv 上发表，代码也将逐步公开。
• 2023年7月8日： GitHub 仓库初始化。

🔓 模型动物园

• 预训练编码器使用示例

import torch 
import torch.nn as nn
from timm.models.vision_transformer import Block
from Data2Seq import Data2Seq
video_tokenier = Data2Seq(modality='video',dim=768)
audio_tokenier = Data2Seq(modality='audio',dim=768)
time_series_tokenier = Data2Seq(modality='time-series',dim=768)

features = torch.concat([video_tokenizer(video), audio_tokenizer(audio), time_series_tokenizer(time_data)],dim=1)
# 对于base规模的编码器：
ckpt = torch.load("Meta-Transformer_base_patch16_encoder.pth")
encoder = nn.Sequential(*[
            Block(
                dim=768,
                num_heads=12,
                mlp_ratio=4.,
                qkv_bias=True,
                norm_layer=nn.LayerNorm,
                act_layer=nn.GELU
            )
            for i in range(12)])
encoder.load_state_dict(ckpt,strict=True)
# 对于large规模的编码器：
ckpt = torch.load("Meta-Transformer_large_patch14_encoder.pth")
encoder = nn.Sequential(*[
            Block(
                dim=1024,
                num_heads=16,
                mlp_ratio=4.,
                qkv_bias=True,
                norm_layer=nn.LayerNorm,
                act_layer=nn.GELU
            )
            for i in range(24)])
encoder.load_state_dict(ckpt,strict=True)
encoded_features = encoder(features)

🕙 待办事项

• [ x ] 结合大型语言模型的Meta-Transformer。
• [ x ] 使用Meta-Transformer进行多模态联合训练。
• [ x ] 支持更多模态和更多任务。

联系方式

🚀🚀🚀 我们希望将此仓库打造成为一个用于跨模态主流AI感知任务的强大基础。您的贡献将对此起到重要作用，我们热烈欢迎参与本项目！

如需联系我们，请随时发送邮件至 yiyuanzhang.ai@gmail.com、kaixionggong@gmail.com、zhangkaipeng@pjlab.org.cn 或 xyyue@ie.cuhk.edu.hk！

引用

若代码和论文对您的研究有所帮助，请引用：

@article{zhang2023meta,
  title={Meta-transformer: A unified framework for multimodal learning},
  author={Zhang, Yiyuan and Gong, Kaixiong and Zhang, Kaipeng and Li, Hongsheng and Qiao, Yu and Ouyang, Wanli and Yue, Xiangyu},
  journal={arXiv preprint arXiv:2307.10802},
  year={2023}
}

许可证

本项目采用Apache 2.0许可证发布。

致谢

本代码基于多个优秀的开源项目开发而成，包括MMClassification、MMDetection、MMsegmentation、OpenPoints、Time-Series-Library、Graphomer、SpectralFormer以及ViT-Adapter。