TinyGPT-V

TinyGPT-V：基于小型骨干网络的高效多模态大语言模型

袁正清✟, 李兆旭❁, 黄伟然❋, 叶燕芳✟, 孙立超❁

✟圣母大学，❁莱high大学，❋上海交通大学

李兆旭是莱high大学LAIR实验室的访问学生。

英语 | 简体中文

新闻

[2024年4月8日] 更新论文v2版本。我们修正了一些排版错误，提供了更多细节，并更新了TinyGPT-V的最新结果。

[2024年3月20日] 更新Phi-2权重下载链接。

[2024年1月22日] 欢迎访问Hugging Face在线演示，试用我们的模型（适用于Stage-4 v1）！

[2024年1月19日] 重大更新！我们正式发布TinyGPT-V v1版本！经评估，TinyGPT-V的性能已达到InstructBLIP的98%，并超越了同期其他模型！

[2024年1月3日] 欢迎访问Hugging Face在线演示，试用我们的模型（适用于Stage-3）！

[2023年12月28日] 突发！我们发布了TinyGPT-V的代码。

TinyGPT-V模型结构

整体模型结构

语言模型结构

TinyGPT-V训练流程

TinyGPT-V结果

雷达图

性能与效率

开始使用

安装

1. 准备代码和环境

克隆我们的仓库，创建Python环境并激活：

git clone https://github.com/DLYuanGod/TinyGPT-V.git
cd TinyGPT-V
conda env create -f environment.yml
conda activate tinygptv

2. 准备预训练LLM权重

TinyGPT-V基于Phi-2。 通过git-lfs克隆以下Hugging Face空间，下载相应的LLM权重。

Phi-2 2.7B：下载

然后，在模型配置文件中将phi_model变量设置为LLM权重路径。

• 在这里第14行、这里第18行以及这里第16行设置LLM路径。

3. 准备预训练模型检查点

下载预训练模型检查点

Stage-1之后	Stage-2之后	Stage-3之后	Stage-4之后
下载	下载	下载	下载

对于TinyGPT-V，在评估配置文件中设置预训练检查点路径： 在tinygptv_stage1_2_3_eval.yaml第8行设置Stage 1、2和3版本；在tinygptv_stage4_eval.yaml第8行设置Stage 4版本。

4. 更新Phi-2的transformers库模型实现。

Linux系统：

cp modeling_phi.py /root/miniconda3/envs/tinygptv/lib/python3.9/site-packages/transformers/models/phi/

Windows系统

找到你的conda环境：conda_sit/envs/tinygptv/lib/python3.9/site-packages/transformers/models/phi/ 将该目录下的modeling_phi.py替换为TinyGPT-V中的modeling_phi.py版本。

本地运行演示

对于Stage 4，运行：

python demo_v2.py --cfg-path eval_configs/tinygptv_stage4_eval.yaml  --gpu-id 0

注意：Stage 4具备一定的定位能力，但效果尚不理想，我们正在改进！

对于Stage 1、2和3，运行：

python demo.py --cfg-path eval_configs/tinygptv_stage1_2_3_eval.yaml  --gpu-id 0

若希望获得更强的性能，LLMs默认以16位加载。此配置需要约8GB显存。若想节省显存，可在相关配置文件中将low_resource设置为True，以8位模式运行模型，适用于显存低于8GB的设备：

• Stage 4 tinygptv_stage4_eval.yaml

• Stage 1、2和3 tinygptv_stage1_2_3_eval.yaml

训练

首先，你需要将 LLM 中所有更新后的权重调整为以全精度进行计算：此处。请移除以下代码行的注释：

                layer.self_attn.q_layernorm.weight.data = layer.self_attn.q_layernorm.weight.data.float()
                layer.self_attn.k_layernorm.weight.data = layer.self_attn.k_layernorm.weight.data.float()
                layer.post_layernorm.weight.data = layer.post_layernorm.weight.data.float()
                layer.input_layernorm.weight.data = layer.input_layernorm.weight.data.float()

                # 对偏置项执行类似操作
                if layer.self_attn.q_layernorm.bias is not None:
                    layer.self_attn.q_layernorm.bias.data = layer.self_attn.q_layernorm.bias.data.float()
                if layer.self_attn.k_layernorm.bias is not None:
                    layer.self_attn.k_layernorm.bias.data = layer.self_attn.k_layernorm.bias.data.float()
                if layer.input_layernorm.bias is not None:
                    layer.input_layernorm.bias.data = layer.input_layernorm.bias.data.float()


            llama_model.model.model.final_layernorm.weight.requires_grad = True
            llama_model.model.model.final_layernorm.weight.data = llama_model.model.model.final_layernorm.weight.data.float()
            if llama_model.model.model.final_layernorm.bias is not None:
                llama_model.model.model.final_layernorm.bias.data = llama_model.model.model.final_layernorm.bias.float()

阶段 1 和 2：

• 数据集：第一阶段数据集准备说明

• 然后运行：

torchrun --nproc-per-node NUM_GPU train.py --cfg-path train_configs/tinygptv_stage1.yaml

你需要执行上述命令 17 次，才能完成第一阶段的训练。

• 然后运行：

torchrun --nproc-per-node NUM_GPU train.py --cfg-path train_configs/tinygptv_stage2.yaml

阶段 3：

• 数据集：第三阶段数据集准备说明

• 然后运行：

torchrun --nproc-per-node NUM_GPU train.py --cfg-path train_configs/tinygptv_stage3.yaml

阶段 4：

• 数据集：第四阶段数据集准备说明。

• 然后运行：

torchrun --nproc-per-node NUM_GPU train.py --cfg-path train_configs/tinygptv_stage4.yaml

评估

有关 TinyGPT-V 的评估详情，请查看 此处。

星标历史

致谢

• MiniGPT，一款非常通用的多模态大语言模型。

如果你在研究或应用中使用了 TinyGPT-V，请使用以下 BibTeX 格式引用：

@misc{yuan2024tinygptv,
      title={TinyGPT-V: Efficient Multimodal Large Language Model via Small Backbones}, 
      author={Zhengqing Yuan and Zhaoxu Li and Weiran Huang and Yanfang Ye and Lichao Sun},
      year={2024},
      eprint={2312.16862},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

许可证

本仓库采用 BSD 3-Clause 许可证。 许多代码基于 Lavis，其许可证为 BSD 3-Clause，详见 此处。

TinyGPT-V 快速上手指南

TinyGPT-V 是一个基于小型骨干网络（Phi-2）的高效多模态大语言模型。本指南将帮助你快速在本地部署并运行该模型。

1. 环境准备

• 操作系统: Linux (推荐) 或 Windows
• 硬件要求:
  • GPU 显存：默认加载 16-bit 模型需约 8GB 显存；若显存低于 8GB，可通过配置开启 8-bit 模式。
• 前置依赖:
  • Git & Git-LFS (用于下载大模型权重)
  • Conda (推荐用于环境管理)
  • Python 3.9

2. 安装步骤

第一步：克隆代码与创建环境

git clone https://github.com/DLYuanGod/TinyGPT-V.git
cd TinyGPT-V
conda env create -f environment.yml
conda activate tinygptv

第二步：准备预训练 LLM 权重 (Phi-2)

TinyGPT-V 基于 Phi-2 (2.7B) 构建。请使用 git-lfs 下载权重：

# 确保已安装 git-lfs
git lfs install
# 克隆权重仓库（此处以 HuggingFace 为例，国内用户若访问慢可尝试镜像站或手动下载后放入对应目录）
git clone https://huggingface.co/spaces/llizhx/TinyGPT-V/tree/main/phi-2

配置路径： 下载完成后，需在以下三个文件的指定行中，将 phi_model 变量修改为你本地的权重路径：

1. minigpt4/configs/models/minigpt_v2.yaml (第 14 行)
2. minigpt4/configs/models/minigpt4_vicuna0.yaml (第 18 行)
3. minigpt4/conversation/conversation.py (第 16 行)

第三步：下载模型检查点 (Checkpoints)

根据你需要使用的阶段（Stage），下载对应的预训练权重：

阶段	用途	下载地址
Stage 1-3	基础对话与理解	Download Stage 1-3
Stage 4	包含定位能力 (Grounding)	Download Stage 4

配置路径：

• Stage 1-3: 修改 eval_configs/tinygptv_stage1_2_3_eval.yaml 第 8 行。
• Stage 4: 修改 eval_configs/tinygptv_stage4_eval.yaml 第 8 行。

第四步：更新 Transformers 库文件 (关键)

必须替换 transformers 库中的 Phi 模型文件以适配本项目。

Linux 系统:

cp modeling_phi.py /root/miniconda3/envs/tinygptv/lib/python3.9/site-packages/transformers/models/phi/

(注意：请根据你的实际 conda 环境路径调整上述命令中的目录)

Windows 系统: 找到你的 conda 环境目录（例如：conda_sit/envs/tinygptv/lib/python3.9/site-packages/transformers/models/phi/），将项目根目录下的 TinyGPT-V/modeling_phi.py 复制并覆盖该目录下的同名文件。

3. 基本使用

启动本地演示 (Demo)

方案 A：运行 Stage 4 版本 (含定位能力) 注：目前 Grounding 性能仍在优化中。

python demo_v2.py --cfg-path eval_configs/tinygptv_stage4_eval.yaml  --gpu-id 0

方案 B：运行 Stage 1/2/3 版本 (推荐用于稳定对话)

python demo.py --cfg-path eval_configs/tinygptv_stage1_2_3_eval.yaml  --gpu-id 0

低显存模式 (可选)

如果你的 GPU 显存小于 8GB，请在对应的配置文件（.yaml）第 6 行左右，将 low_resource 设置为 True 以启用 8-bit 加载模式：

• Stage 4: eval_configs/tinygptv_stage4_eval.yaml
• Stage 1-3: eval_configs/tinygptv_stage1_2_3_eval.yaml

启动命令保持不变，模型将以更低显存占用运行。