---

本仓库包含 NeurIPS 2023 论文的实现：

廉价且快速：面向大型语言模型的高效视觉-语言指令微调 [项目页面] [论文]
Gen Luo¹, Yiyi Zhou¹², Tianhe Ren¹, Shengxin Chen¹, Xiaoshuai Sun¹², Rongrong Ji^12
1厦门大学信息学院人工智能系媒体分析与计算实验室
²厦门大学人工智能研究院

在本工作中，我们提出了一种新颖且经济实惠的视觉-语言指令微调方案，即模态混合适应（MMA）。
具体而言，MMA 是一种端到端的优化机制，通过轻量级适配器将图像编码器与 LLM 连接起来。同时，我们还提出了一种新的路由算法，能够帮助模型自动切换针对单模态和多模态指令的推理路径。基于 MMA，我们开发了一个名为 LaVIN 的大型视觉-语言指令模型，在多种指令遵循任务中表现出比现有多模态 LLM 更高的训练效率和更强的推理能力。

---

新闻

• 2023/09/22: 🔥🔥🔥 我们的论文已被 NeurIPS 2023 接收！
• 2023/06/30: 🔥🔥🔥 在训练数据和成本都非常有限的情况下，LaVIN 在 MME 基准测试 的“感知与认知”类别中取得了第 5 名，性能超越了七种现有的多模态 LLM。评估代码现已公开。
• 2023/06/27: 🔥4-bit 训练现已可用！LaVIN-lite 可以在单张 3090 GPU 上进行训练，分别使用约 9G 和 15G 的显存即可完成 7B 和 13B 参数规模的训练。相关技术细节已在 知乎 上发布。
• 2023/05/29: 🔥我们发布了多模态聊天机器人的演示及预训练检查点（LLaMA-13B）。
• 2023/05/25: 🔥我们发布了 LaVIN：大型视觉-语言指令模型 的代码，在 ScienceQA 数据集上分别达到了 89.4（LaVIN-7B）和 90.8（LaVIN-13B）的准确率！🔥借助我们提出的 模态混合适应 方法，训练时间和可训练参数分别减少至 1.4 小时和 380 万！请查看 论文。

待办事项

• 发布训练代码。
• 发布检查点和演示。
• 支持 4-bit 训练。
• 支持更多模态，例如音频和视频。

目录

• 设置
• 微调
• 演示
• 模型库

设置

安装软件包

conda create -n lavin python=3.8 -y
conda activate lavin

# 安装 PyTorch
conda install pytorch==1.12.1 torchvision==0.13.1 torchaudio==0.12.1 -c pytorch

# 安装依赖和 lavin
pip install -r requirements.txt
pip install -e .

数据准备

• 对于 ScienceQA，请从 官方仓库 准备数据集。
• 对于多模态聊天机器人，从 MSCOCO 下载 train2014 分割中的图片，并从 这里 获取已整理好的 5.2 万条纯文本和 15.8 万条图文结合的指令遵循数据。
• 从 此表单 获取 LLaMA 权重（官方来源），或从 HuggingFace 下载 LLaMA-7B 和 LLaMA-13B（非官方来源）。
• 如果希望使用 Vicuna 权重初始化模型，请从 HuggingFace 下载。 完成上述步骤后，文件结构应如下所示：

LaVIN/
  |-- lavin
  |-- scripts
  |-- train.py
  |-- eval.py
  ......
data/
  |-- problem.json
  |-- pid_splits.json
  |-- captions.json
  |-- all_data.json
  |-- images
      |-- train2014      # MSCOCO 2014
      |-- val2014        # MSCOCO 2014
      |-- train          # ScienceQA 训练集图片
      |-- val            # ScienceQA 验证集图片
      |-- test           # ScienceQA 测试集图片
  |-- weights
      |-- tokenizer.model
          |--7B
              |-- params.json
              |-- consolidated.00.pth
          |--13B
              |-- params.json
              |-- consolidated.00.pth
              |-- consolidated.01.pth
          |--vicuna_7B
          |--vicuna_13B
              |-- config.json
              |-- generation_config.json
              |-- pytorch_model.bin.index.json
              |-- special_tokens_map.json
              |-- tokenizer_config.json
              |-- tokenizer.model
              |-- pytorch_model-00001-of-00003.bin
              |-- pytorch_model-00002-of-00003.bin
              |-- pytorch_model-00003-of-00003.bin
          ......

微调

ScienceQA

重现 LaVIN-7B 在 ScienceQA 上的表现。 对于 7B 模型，我们在 2 张 A100 上进行微调（我们发现性能会受到 GPU 数量的影响，目前正在解决这一问题）。

LLaMA 权重：

bash ./scripts/finetuning_sqa_7b.sh

Vicuna 权重：

bash ./scripts/finetuning_sqa_vicuna_7b.sh

LaVIN-lite 使用 LLaMA 权重（单 GPU）：

bash ./scripts/finetuning_sqa_vicuna_7b_lite.sh

重现 LaVIN-13B 在 ScienceQA 上的表现（约 2 小时，使用 8 张 A100 卡，共 80G 显存）。 对于 13B 模型，我们在 8 张 A100 上进行微调。

LLaMA 权重：

bash ./scripts/finetuning_sqa_13b.sh

Vicuna 权重：

bash ./scripts/finetuning_sqa_vicuna_13b.sh

LaVIN-lite 使用 LLaMA 权重（单 GPU）：

bash ./scripts/finetuning_sqa_vicuna_13b_lite.sh

多模态聊天机器人

在 21 万条指令遵循数据上微调 LaVIN-13B（使用 8 张 A100 卡，共 80G 显存，运行 15 个 epoch 约需 75 小时，运行 5 个 epoch 约需 25 小时）。

LLaMA 权重：

bash ./scripts/vl_instruction_tuning_13b.sh

Vicuna 权重：

bash ./scripts/vl_instruction_tuning_vicuna_13b.sh

若需在较少的 GPU 上训练，可在脚本中减少 GPU 数量，并通过 --accum_iter 增加梯度累积，以确保总批次大小为 32。在脚本中设置 --gradient_checkpointing 和 --bits 4bit 可显著降低对显存的需求。

演示

LaVIN 支持单模态和多模态的指令输入。您可以在我们的演示中尝试自定义指令：

• 在您的机器上启动一个 Gradio Web 服务器，然后您可以随意与 LaVIN 互动。

torchrun --nproc_per_node 1 demo.py --server_name 127.0.0.1

模型库

ScienceQA

模型	权重	时间	内存	参数量	准确率	权重
LaVIN-7B-lite	LLaMA	29 小时（单 GPU）	9G	3.8M	88.35	google drive
LaVIN-13B-lite	LLaMA	42 小时（单 GPU）	14G	5.4M	89.44	google drive
LaVIN-7B	LLaMA	1.4 小时	33.9G	3.8M	89.37	google drive
LaVIN-7B	Vicuna	1.4 小时	33.9G	3.8M	89.41	google drive
LaVIN-13B	LLaMA	2 小时	55.9G	5.4M	90.54	google drive
LaVIN-13B	LLaMA	4 小时	55.9G	5.4M	90.8	-

多模态聊天机器人

模型	权重	时间	内存	参数量	准确率	权重
LaVIN-13B	LLaMA	25 小时	55.9G	5.4M	-	-
LaVIN-13B	LLaMA	75 小时	55.9G	5.4M	-	google drive

示例

星标历史

引用

如果您认为我们的代码和论文有所帮助，请引用 LaVIN 和 RepAdapter：

@article{luo2023towards,
  title={Towards Efficient Visual Adaption via Structural Re-parameterization},
  author={Luo, Gen and Huang, Minglang and Zhou, Yiyi  and Sun, Xiaoshuai and Jiang, Guangnan and Wang, Zhiyu and Ji, Rongrong},
  journal={arXiv preprint arXiv:2302.08106},
  year={2023}
}

@article{luo2023cheap,
 title={Cheap and Quick: Efficient Vision-Language Instruction Tuning for Large Language Models},
 author={Luo, Gen and  Zhou, Yiyi and Ren, Tianhe and Chen, Shengxin and Sun, Xiaoshuai and Ji, Rongrong},
 journal={Advances in neural information processing systems (NeurIPS)},
 year={2023}
  }

致谢

本仓库借鉴了来自 LLaMA、Stanford Alpaca、LLaVA、MiniGPT-4 和 LLaMA-Adapter 的部分数据和代码。感谢他们的杰出工作。

LaVIN 快速上手指南

LaVIN 是一个高效的大规模视觉 - 语言指令微调模型，基于 NeurIPS 2023 论文《Cheap and Quick》实现。它通过混合模态适配（MMA）技术，显著降低了训练成本和参数量，同时保持了强大的多模态推理能力。

环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu)
• Python: 3.8
• GPU:
  • 标准训练：推荐 A100 (7B 模型需 2 张，13B 模型需 8 张)
  • 轻量版训练 (LaVIN-lite)：单张 RTX 3090 即可 (7B 约需 9G 显存，13B 约需 15G 显存)
• CUDA: 兼容 PyTorch 1.12.1 的版本

前置依赖

• Conda 包管理器
• Git

安装步骤

1. 创建并激活虚拟环境

conda create -n lavin python=3.8 -y
conda activate lavin

2. 安装 PyTorch

建议使用国内镜像源加速下载（如清华源）：

conda install pytorch==1.12.1 torchvision==0.13.1 torchaudio==0.12.1 -c pytorch
# 若下载缓慢，可尝试指定清华源：
# conda install pytorch==1.12.1 torchvision==0.13.1 torchaudio==0.12.1 -c pytorch --channel https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/

3. 安装项目依赖及 LaVIN

git clone https://github.com/luogen1996/LaVIN.git
cd LaVIN
pip install -r requirements.txt
pip install -e .

4. 数据与权重准备

在运行前需手动下载以下资源并整理目录结构：

• 数据集:
  • ScienceQA: 从 官方仓库 获取。
  • 多模态对话数据: 下载 MSCOCO train2014 图片及 指令数据。
• 模型权重:
  • LLaMA: 从 官方表单 或 HuggingFace (如 nyanko7/LLaMA-7B) 获取。
  • Vicuna (可选): 从 HuggingFace 获取。

确保最终目录结构如下：

LaVIN/
  |-- lavin
  |-- scripts
  |-- train.py
  ...
data/
  |-- images/          # 存放 MSCOCO 和 ScienceQA 图片
  |-- weights/         # 存放 LLaMA/Vicuna 权重文件
  |-- *.json           # 各类数据标注文件

基本使用

启动交互式 Demo

LaVIN 支持单模态和多模态指令输入。最简单的方式是启动本地 Gradio 服务进行体验。

启动命令：

torchrun --nproc_per_node 1 demo.py --server_name 127.0.0.1

启动后，在浏览器访问显示的本地地址（通常为 http://127.0.0.1:7860），即可上传图片并输入指令与模型对话。

快速微调示例 (ScienceQA)

若需复现 ScienceQA 上的性能，可使用提供的脚本。以下以单卡运行轻量版 (LaVIN-lite) 为例：

使用 LLaMA 权重的 7B 轻量版微调：

bash ./scripts/finetuning_sqa_vicuna_7b_lite.sh

使用 LLaMA 权重的 13B 轻量版微调：

bash ./scripts/finetuning_sqa_vicuna_13b_lite.sh

提示: 若显存有限，可在脚本中添加 --bits 4bit 和 --gradient_checkpointing 参数以进一步降低显存占用。