MiniGPT-V

MiniGPT-v2：大型语言模型作为视觉-语言多任务学习的统一接口

陈俊、朱德尧、沈晓倩、李翔、刘泽春、张鹏川、拉古拉曼·克里希纳穆尔蒂、维卡斯·钱德拉、熊云阳☨、穆罕默德·埃尔霍西尼☨

☨共同最后作者

MiniGPT-4：利用先进大型语言模型增强视觉-语言理解能力

朱德尧*、陈俊*、沈晓倩、李翔、穆罕默德·埃尔霍西尼

*同等贡献

阿卜杜拉国王科技大学

💡 获取帮助 - 问答 或 Discord 💬

基于MiniGPT-4构建的社区示例

• InstructionGPT-4：用于微调MiniGPT-4的200条指令范式，魏来、蒋子豪、黄伟然、孙立超，Arxiv，2023年

• PatFig：为专利附图生成简短和长篇说明文字，奥巴基罗娃、达娜、金·格德斯和刘路飞，ICCVW，2023年

• SkinGPT-4：基于视觉大型语言模型的交互式皮肤病诊断系统，周觉晓、何晓楠、孙丽媛、徐建南、陈秀英、楚月潭、周龙熙、廖星宇、张斌和高鑫，Arxiv，2023年

• ArtGPT-4：通过适配器增强的MiniGPT-4实现的艺术性视觉-语言理解，袁、郑青、薛慧文、王欣怡、刘永明、赵传哲和王坤，Arxiv，2023年

新闻

[2023年10月31日] 我们发布了MiniGPT-v2的评估代码。

[2023年10月24日] 我们发布了MiniGPT-v2的微调代码。

[2023年10月13日] 突发！我们发布了MiniGPT-v2的首次重大更新。

[2023年8月28日] 我们现在提供MiniGPT-4的Llama 2版本。

在线演示

点击图片与MiniGPT-v2围绕您的图片进行对话

点击图片与MiniGPT-4围绕您的图片进行对话

MiniGPT-v2 示例

MiniGPT-4 示例

更多示例可在项目页面中找到。

入门

安装

1. 准备代码和环境

使用 Git 克隆我们的仓库，创建 Python 环境并激活它，命令如下：

git clone https://github.com/Vision-CAIR/MiniGPT-4.git
cd MiniGPT-4
conda env create -f environment.yml
conda activate minigptv

2. 准备预训练的 LLM 权重

MiniGPT-v2 基于 Llama2 Chat 7B。对于 MiniGPT-4，我们同时提供了 Vicuna V0 和 Llama 2 版本。 请通过 git-lfs 克隆以下 Hugging Face Space 仓库来下载相应的 LLM 权重。

Llama 2 Chat 7B	Vicuna V0 13B	Vicuna V0 7B
下载	下载	下载

然后，在模型配置文件中将变量 llama_model 设置为 LLM 权重路径。

• 对于 MiniGPT-v2，将 LLM 路径设置在 这里 的第 14 行。

• 对于 MiniGPT-4 (Llama2)，将 LLM 路径设置在 这里 的第 15 行。

• 对于 MiniGPT-4 (Vicuna)，将 LLM 路径设置在 这里 的第 18 行。

3. 准备预训练模型检查点

下载预训练模型检查点

MiniGPT-v2（阶段-2 后）	MiniGPT-v2（阶段-3 后）	MiniGPT-v2（在线开发演示）
下载	下载	下载

对于 MiniGPT-v2，在评估配置文件中设置预训练检查点路径： 在 eval_configs/minigptv2_eval.yaml 的第 8 行。

MiniGPT-4（Vicuna 13B）	MiniGPT-4（Vicuna 7B）	MiniGPT-4（LLaMA-2 Chat 7B）
下载	下载	下载

对于 MiniGPT-4，在评估配置文件中设置预训练检查点路径： 在 eval_configs/minigpt4_eval.yaml 的第 8 行，适用于 Vicuna 版本；或在 eval_configs/minigpt4_llama2_eval.yaml 的第 8 行，适用于 Llama2 版本。

在本地启动演示

对于 MiniGPT-v2，运行：

python demo_v2.py --cfg-path eval_configs/minigptv2_eval.yaml  --gpu-id 0

对于 MiniGPT-4（Vicuna 版本），运行：

python demo.py --cfg-path eval_configs/minigpt4_eval.yaml  --gpu-id 0

对于 MiniGPT-4（Llama2 版本），运行：

python demo.py --cfg-path eval_configs/minigpt4_llama2_eval.yaml  --gpu-id 0

为了节省 GPU 内存，LLM 默认以 8 位加载，束搜索宽度为 1。这种配置对于 13B 的 LLM 需要约 23G GPU 内存，而对于 7B 的 LLM 则需要约 11.5G GPU 内存。如果您的 GPU 性能更强，可以通过将相关配置文件中的 low_resource 设置为 False，以 16 位运行模型：

• MiniGPT-v2：minigptv2_eval.yaml
• MiniGPT-4（Llama2）：minigpt4_llama2_eval.yaml
• MiniGPT-4（Vicuna）：minigpt4_eval.yaml

感谢 @WangRongsheng，您也可以在 Colab 上运行 MiniGPT-4。

训练

关于 MiniGPT-4 的训练细节，请参阅 这里。

关于 MiniGPT-v2 的微调细节，请参阅 这里。

评估

关于 MiniGPT-v2 的微调细节，请参阅 这里。

致谢

• BLIP2 MiniGPT-4 的模型架构参考了 BLIP-2。如果您之前不了解这项优秀的开源工作，请务必查看！
• Lavis 本项目基于 Lavis 构建！
• Vicuna Vicuna 仅用 13B 参数就展现出如此强大的语言能力，令人惊叹。而且它是开源的！
• LLaMA 强大的开源 LLaMA 2 语言模型。

如果您在研究或应用中使用 MiniGPT-4/MiniGPT-v2，请使用以下 BibTeX 格式引用：

@article{chen2023minigptv2,
      title={MiniGPT-v2: 大型语言模型作为视觉-语言多任务学习的统一接口}, 
      author={Chen, Jun and Zhu, Deyao and Shen, Xiaoqian and Li, Xiang and Liu, Zechu and Zhang, Pengchuan and Krishnamoorthi, Raghuraman and Chandra, Vikas and Xiong, Yunyang and Elhoseiny, Mohamed},
      year={2023},
      journal={arXiv 预印本 arXiv:2310.09478},
}

@article{zhu2023minigpt,
  title={MiniGPT-4：利用先进大型语言模型增强视觉-语言理解能力},
  author={Zhu, Deyao and Chen, Jun and Shen, Xiaoqian and Li, Xiang and Elhoseiny, Mohamed},
  journal={arXiv 预印本 arXiv:2304.10592},
  year={2023}
}

许可证

本仓库采用 BSD 3-Clause 许可证。 许多代码基于 Lavis，其许可证为 BSD 3-Clause。

MiniGPT-4 / MiniGPT-v2 快速上手指南

MiniGPT-4 和 MiniGPT-v2 是强大的视觉 - 语言多任务学习模型，能够将图像理解与大语言模型（LLM）的能力相结合。本指南将帮助您快速在本地部署并运行这些模型。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu) 或 macOS。Windows 用户建议使用 WSL2。
• GPU: 需要 NVIDIA GPU。
  • 显存要求:
    • 7B 模型 (Vicuna 7B / Llama-2-7B): 至少 12GB (默认 8-bit 量化模式)，推荐 16GB+。
    • 13B 模型 (Vicuna 13B): 至少 24GB (默认 8-bit 量化模式)。
  • 若需关闭量化（16-bit 模式）以获得更高精度，需双倍显存。
• 软件依赖:
  • Python 3.9+
  • Conda (推荐用于环境管理)
  • Git 及 git-lfs (用于下载大模型权重)

安装 git-lfs (如未安装):

sudo apt-get install git-lfs
git lfs install

2. 安装步骤

第一步：克隆代码库并创建环境

# 克隆仓库
git clone https://github.com/Vision-CAIR/MiniGPT-4.git
cd MiniGPT-4

# 创建 conda 环境并激活
conda env create -f environment.yml
conda activate minigptv

注意: 如果 environment.yml 下载依赖过慢，可手动创建环境后，使用国内镜像源（如清华源）安装 requirements.txt 中的包。

第二步：下载预训练大语言模型 (LLM) 权重

根据您想运行的模型版本，下载对应的 LLM 权重。由于 Hugging Face 在国内访问可能受限，建议配置镜像或使用代理。

模型版本	对应 LLM	下载地址 (Hugging Face)
MiniGPT-v2	Llama-2-7b-chat	Download
MiniGPT-4	Vicuna V0 13B	Download
MiniGPT-4	Vicuna V0 7B	Download

下载完成后，修改配置文件中的路径指向您的权重文件夹：

• MiniGPT-v2: 编辑 minigpt4/configs/models/minigpt_v2.yaml (第 14-15 行)，设置 llama_model 路径。
• MiniGPT-4 (Llama2): 编辑 minigpt4/configs/models/minigpt4_llama2.yaml (第 15 行)。
• MiniGPT-4 (Vicuna): 编辑 minigpt4/configs/models/minigpt4_vicuna0.yaml (第 18 行)。

第三步：下载 MiniGPT 预训练检查点

下载项目特定的预训练权重文件：

模型版本	下载地址 (Google Drive)	备注
MiniGPT-v2	Stage-2 / Stage-3	推荐使用 Stage-3
MiniGPT-4	Vicuna 13B / Vicuna 7B / LLaMA-2	根据选择的 LLM 下载对应版本

提示: 如果无法访问 Google Drive，请尝试寻找国内网盘搬运资源或使用代理工具。

下载后，修改评估配置文件中的路径：

• MiniGPT-v2: 编辑 eval_configs/minigptv2_eval.yaml (第 8 行)。
• MiniGPT-4 (Vicuna): 编辑 eval_configs/minigpt4_eval.yaml (第 8 行)。
• MiniGPT-4 (Llama2): 编辑 eval_configs/minigpt4_llama2_eval.yaml (第 8 行)。

3. 基本使用

启动本地演示界面（Gradio），即可上传图片并与模型对话。默认配置为 8-bit 量化以节省显存。

启动 MiniGPT-v2

python demo_v2.py --cfg-path eval_configs/minigptv2_eval.yaml --gpu-id 0

启动 MiniGPT-4 (Vicuna 版本)

python demo.py --cfg-path eval_configs/minigpt4_eval.yaml --gpu-id 0

启动 MiniGPT-4 (Llama2 版本)

python demo.py --cfg-path eval_configs/minigpt4_llama2_eval.yaml --gpu-id 0

运行成功后，终端会显示一个本地 URL（通常是 http://localhost:7860），在浏览器中打开该地址即可开始体验。

进阶调整（可选）： 如果您的显卡显存充足（例如 13B 模型拥有 24GB+ 显存），希望关闭 8-bit 量化以获得更好效果，请在对应的 .yaml 配置文件中将 low_resource 设置为 False。