Macaw-LLM：融合图像、音频、视频与文本的多模态语言建模

Macaw-LLM是一项开创性的探索性工作，它基于CLIP、Whisper和LLaMA的基础，通过无缝整合图像🖼️、视频📹、音频🎵和文本📝数据，率先实现了多模态语言建模。

📰 论文 :building_construction: 模型（通过Dropbox） :building_construction: 模型（通过微云） :card_file_box: 数据集 :bricks: 代码 :monocle_face: 视频 :technologist: 演示

目录 📚

• 简介
• 关键特性
• 架构
• 对齐策略
• 安装
• 使用
• 未来工作与贡献

简介

近年来，语言建模领域取得了显著进展。然而，如何有效整合图像、视频、音频和文本等多种模态信息，仍然是一个极具挑战性的课题。Macaw-LLM正是这样一款模型，它将用于处理视觉、听觉和文本信息的最先进模型——CLIP、Whisper和LLaMA——有机地结合在一起。

关键特性 🔑

Macaw-LLM具有以下独特优势：

1. 简单快速的对齐：Macaw-LLM通过简单高效的对齐方式，将多模态数据无缝融入LLM的嵌入空间。这一高效流程确保了不同模态数据能够迅速适配。
2. 单阶段指令微调：我们的模型采用单阶段指令微调机制，简化了适配流程，提升了学习效率。
3. 全新多模态指令数据集：我们构建了一个涵盖多种指令任务的新多模态指令数据集，充分利用了图像和视频模态，为后续多模态LLM的研究奠定了基础。

架构

Macaw-LLM由三个主要组件构成：

1. CLIP：负责编码图像和视频帧。
2. Whisper：负责编码音频数据。
3. LLM（LLaMA/Vicuna/Bloom）：用于编码指令并生成响应的语言模型。

通过这些模型的协同工作，Macaw-LLM能够高效地处理和分析多模态数据。

对齐策略

我们提出的创新对齐策略，能够更快速地实现多模态特征与文本特征之间的映射。具体步骤如下：

1. 使用CLIP和Whisper分别对多模态特征进行编码。
2. 将编码后的特征输入到注意力机制中，其中多模态特征作为查询，LLaMA的嵌入矩阵作为键和值。
3. 将注意力机制的输出注入到LLaMA的输入序列中（位于指令标记之前），从而以最少的额外参数完成对齐过程。

全新多模态指令数据集 🆕

在本项目中，我们利用GPT-3.5-Turbo，以图像或视频字幕作为提示，生成了一套数据集。数据集的来源包括MS COCO数据集中的图像字幕，以及Charades和AVSD数据集中的视频字幕。最终，我们共收集了约69,000个基于COCO图像字幕的样本，以及50,000个基于Charades和AVSD视频字幕的样本。目前我们专注于单轮对话，但未来计划扩展到多轮对话及更多样化的多模态内容，以进一步丰富数据集，并提升语言模型（LLMs）的微调效果。

安装

安装Macaw-LLM，请按照以下步骤操作：

# 克隆仓库
git clone https://github.com/lyuchenyang/Macaw-LLM.git

# 进入Macaw-LLM目录
cd Macaw-LLM

# 安装所需依赖
pip install -r requirements.txt

# 安装ffmpeg
yum install ffmpeg -y

# 安装apex
git clone https://github.com/NVIDIA/apex.git
cd apex
python setup.py install
cd ..

使用方法 🚀

1. 下载数据集：

   • 文本数据：stanford_alpaca/alpaca_data.json
   • 图像数据：COCO 数据集 VQA 数据集
   • 视频数据：Charades 和 Video Dialog
   • 图像指令数据：Macaw-LLM 图像指令数据集
   • 视频指令数据：Macaw-LLM 视频指令数据集

2. 数据集预处理：

   • 将三种模态的数据分别放入指定文件夹中：data/text/、data/image/、data/video/
   • 从视频中提取帧和音频：

     python preprocess_data.py
     

   • 将监督数据转换为数据集：

     python preprocess_data_supervised.py
     

   • 将无监督数据转换为数据集：

     python preprocess_data_unsupervised.py
     

3. 训练：

   • 执行训练脚本（可在脚本内指定训练参数）：

     ./train.sh
     

4. 推理：

   • 执行推理脚本（可在脚本内提供自定义输入）：

     ./inference.sh
     

示例

我们展示了几个示例，突显了我们的 Macaw-LLM 在理解和执行多模态指令方面的出色能力。 这些示例展示了我们的系统在理解图像和视频并据此生成响应方面的多模态能力。它们表明，我们的系统能够理解视觉内容，并在自然语言对话中生成高质量、流畅的回应。对于关于图像的各种问题，我们的系统都能给出上下文相关且信息丰富的答案，这充分证明了它能够自然流畅地交流视觉内容。

未来工作与贡献 🚀

尽管我们的模型仍处于早期阶段，但我们相信，Macaw-LLM 为多模态语言建模领域的未来研究开辟了道路。整合多种数据模态具有巨大的潜力，可以推动人工智能的边界，并加深我们对复杂现实场景的理解。通过推出 Macaw-LLM，我们希望激发这一激动人心的研究领域中的进一步探索和创新。

我们欢迎社区的贡献，以改进和扩展 Macaw-LLM 的能力。🤝

待办事项 👨‍💻

• 评估： 我们展示了一些示例，说明了 Macaw-LLM 的多模态能力。然而，我们也意识到，这些努力可能不足以准确全面地展示模型的能力。我们计划对系统进行广泛的评估，以检验其性能。

• 更多语言模型： 我们计划通过引入其他语言模型，如 Dolly、BLOOM、T-5 等，来扩展 Macaw-LLM。这将使多模态数据的处理和理解更加 robust 和 versatile。

• 多语言支持： 我们的下一步是支持多种语言，朝着真正的多模态、多语言语言模型迈进。我们相信，这将显著拓宽 Macaw-LLM 的应用范围，并增强其对多样化全球语境的理解。

致谢 🙏

我们衷心感谢以下开源项目对 Macaw-LLM 的宝贵贡献：

• Stanford Alpaca 提供了我们在实验中使用的 Alpaca 数据集。
• Parrot 提供了 LLaMA 训练的实用实现。
• CLIP 提供了强大的图像和视频编码模型。
• Whisper 提供了强大的音频编码模型。
• LLaMA 提供了功能强大的 LLM。

我们还要感谢这些项目的开发者和维护者，感谢他们致力于将项目开源并使其向社区开放。

引用

@article{lyu2023macaw,
  title={Macaw-LLM: 多模态语言建模——融合图像、音频、视频与文本},
  author={Lyu, Chenyang and Wu, Minghao and Wang, Longyue and Huang, Xinting and Liu, Bingshuai and Du, Zefeng and Shi, Shuming and Tu, Zhaopeng},
  journal={arXiv 预印本 arXiv:2306.09093},
  year={2023}
}

Macaw-LLM 快速上手指南

Macaw-LLM 是一个探索性的多模态语言模型，基于 CLIP、Whisper 和 LLaMA 构建，能够无缝整合图像、视频、音频和文本数据。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐)
• Python: 3.8 或更高版本
• GPU: 支持 CUDA 的 NVIDIA 显卡（用于加速训练和推理）
• 前置依赖:
  • git: 用于克隆代码库
  • ffmpeg: 用于处理视频和音频数据
  • pip: Python 包管理工具

安装步骤

请依次执行以下命令来完成环境搭建：

# 1. 克隆仓库
git clone https://github.com/lyuchenyang/Macaw-LLM.git

# 2. 进入项目目录
cd Macaw-LLM

# 3. 安装 Python 依赖包
pip install -r requirements.txt

# 4. 安装 ffmpeg (以 CentOS/Yum 为例，Ubuntu 请使用 apt-get install ffmpeg)
yum install ffmpeg -y

# 5. 安装 Apex (用于混合精度训练)
git clone https://github.com/NVIDIA/apex.git
cd apex
python setup.py install
cd ..

注意：如果在国内网络环境下安装 requirements.txt 或克隆仓库较慢，建议配置 pip 国内镜像源（如清华源、阿里源）或使用 Git 代理加速。

基本使用

1. 数据准备

在使用模型前，需下载并预处理数据集。将不同模态的数据放置于指定文件夹：

• 文本数据 -> data/text/
• 图像数据 -> data/image/
• 视频数据 -> data/video/

执行以下脚本进行数据预处理（提取视频帧、音频及格式转换）：

# 提取视频帧和音频
python preprocess_data.py

# 转换监督学习数据
python preprocess_data_supervised.py

# 转换无监督数据
python preprocess_data_unsupervised.py

数据集下载参考：

• 图像指令数据：Macaw-LLM image instruction dataset
• 视频指令数据：Macaw-LLM video instruction dataset

2. 模型训练

配置好 train.sh 中的参数后，运行以下命令启动训练：

./train.sh

3. 模型推理

训练完成后，您可以修改 inference.sh 中的输入内容，然后运行以下命令进行测试：

./inference.sh

该模型支持针对图像、视频内容的自然语言问答，能够生成流畅且符合上下文的回复。