“Mini-Gemini：挖掘多模态视觉语言模型潜力”的官方仓库

该框架支持从2B到34B的一系列密集型和MoE大型语言模型（LLMs），这些模型能够同时进行图像理解、推理和生成。我们基于LLaVA构建了这个仓库。

发布

• [05/03] 🔥 我们现已支持基于LLaMA3的模型！欢迎在此尝试 这里。
• [04/15] 🔥 Hugging Face演示 已上线。这是一个13B-HD版本，欢迎大家观看并试用。
• [03/28] 🔥 Mini-Gemini 来了！我们发布了论文、演示、代码、模型以及数据！

目录

• 演示
• 安装
• 模型
• 准备
• 训练
• 评估
• 示例
• 引用
• 致谢
• 许可证

演示

我们在本节提供了一些精选示例。更多示例请访问我们的项目页面。也欢迎您在线试用我们的演示！

安装

请按照以下步骤安装所需的软件包。

注意：如果您想使用2B版本，请确保安装最新版本的Transformers库（>=4.38.0）。

1. 克隆本仓库

git clone https://github.com/dvlab-research/MGM.git

2. 安装环境

conda create -n mgm python=3.10 -y
conda activate mgm
cd MGM
pip install --upgrade pip  # 启用PEP 660支持
pip install -e .

3. 安装额外的训练相关包

pip install ninja
pip install flash-attn --no-build-isolation

模型

该框架的概念非常简单：采用双视觉编码器分别提供低分辨率视觉嵌入和高分辨率候选特征； 提出了一种补丁信息挖掘方法，在高分辨率区域与低分辨率视觉查询之间进行补丁级别的信息挖掘； 最后利用大型语言模型将文本与图像结合起来，实现理解和生成的双重功能。

我们提供了在第一阶段和第二阶段数据上完全微调的所有模型：

模型	低分辨率	高分辨率	基础LLM	视觉编码器	微调数据	微调计划	下载
MGM-2B	336	768	Gemma-2B	CLIP-L	MGM-Instruct	full_ft-1e	ckpt
MGM-7B	336	768	Vicuna-7B-v1.5	CLIP-L	MGM-Instruct	full_ft-1e	ckpt
MGM-13B	336	768	Vicuna-13B-v1.5	CLIP-L	MGM-Instruct	full_ft-1e	ckpt
MGM-8B	336	768	LLaMA-3-8B-Instruct	CLIP-L	MGM-Instruct	full_ft-1e	ckpt
MGM-8x7B	336	768	Mixtral-8x7B-Instruct-v0.1	CLIP-L	MGM-Instruct	full_ft-1e	ckpt
MGM-34B	336	768	Nous-Hermes-2-Yi-34B	CLIP-L	MGM-Instruct	full_ft-1e	ckpt
MGM-7B-HD	672	1536	Vicuna-7B-v1.5	CLIP-L	MGM-Instruct	full_ft-1e	ckpt
MGM-13B-HD	672	1536	Vicuna-13B-v1.5	CLIP-L	MGM-Instruct	full_ft-1e	ckpt
MGM-8B-HD	672	1536	LLaMA-3-8B-Instruct	CLIP-L	MGM-Instruct	full_ft-1e	ckpt
MGM-8x7B-HD	672	1536	Mixtral-8x7B-Instruct-v0.1	CLIP-L	MGM-Instruct	full_ft-1e	ckpt
MGM-34B-HD	672	1536	Nous-Hermes-2-Yi-34B	CLIP-L	MGM-Instruct	full_ft-1e	ckpt

以下是仅在第一阶段数据上预训练的权重：

模型	低分辨率	高分辨率	基础LLM	视觉编码器	预训练数据	微调计划	下载
MGM-2B	336	768	Gemma-2B	CLIP-L	MGM-Pretrain	1e	ckpt
MGM-7B	336	768	Vicuna-7B-v1.5	CLIP-L	MGM-Pretrain	1e	ckpt
MGM-13B	336	768	Vicuna-13B-v1.5	CLIP-L	MGM-Pretrain	1e	ckpt
MGM-8x7B	336	768	Mixtral-8x7B-Instruct-v0.1	CLIP-L	MGM-Pretrain	1e	ckpt
MGM-34B	336	768	Nous-Hermes-2-Yi-34B	CLIP-L	MGM-Pretrain	1e	ckpt

准备

数据集

我们提供了用于模型训练的处理后的数据。 对于模型预训练，请下载以下基于图像的训练数据，并按如下方式组织：

-> 表示将数据放入本地文件夹。

• LLaVA Images -> data/MGM-Pretrain/images, data/MGM-Finetune/llava/LLaVA-Pretrain/images
• ALLaVA Caption -> data/MGM-Pretrain/ALLaVA-4V

对于模型微调，请下载以下指令数据，并按如下方式组织：

-> 表示将数据放入本地文件夹。

• COCO train2017 -> data/MGM-Finetune/coco
• GQA -> data/MGM-Finetune/gqa
• OCR-VQA（我们将所有文件保存为.jpg格式）-> data/MGM-Finetune/ocr_vqa
• TextVQA（不包含在训练中）-> data/MGM-Finetune/textvqa
• VisualGenome part1, VisualGenome part2 -> data/MGM-Finetune/vg
• ShareGPT4V-100K -> data/MGM-Finetune/sam, share_textvqa, wikiart, web-celebrity, web-landmark
• LAION GPT4V -> data/MGM-Finetune/gpt4v-dataset
• ALLaVA Instruction -> data/MGM-Pretrain/ALLaVA-4V
• DocVQA -> data/MGM-Finetune/docvqa
• ChartQA -> data/MGM-Finetune/chartqa
• DVQA -> data/MGM-Finetune/dvqa
• AI2D -> data/MGM-Finetune/ai2d

对于模型评估，请按照此链接进行准备。我们使用了一些额外的基准来进行评估。请下载以下基于图像的训练数据，并按如下方式组织：

-> 表示将数据放入本地文件夹。

• MMMU -> data/MGM-Eval/MMMU
• MMB -> data/MGM-Eval/MMB
• MathVista -> data/MGM-Eval/MathVista

请将预训练数据、微调数据和评估数据分别放入 MGM-Pretrain、MGM-Finetune 和 MGM-Eval 子目录中，遵循结构。

关于元信息，请下载以下文件，并按结构进行组织。

数据文件名	大小
mgm_pretrain.json	1.68 G
mgm_instruction.json	1.79 G
mgm_generation_pure_text.json	0.04 G

重要提示：mgm_generation_pure_text.json 是一个与生成相关的子集。请勿将其与 mgm_instruction.json 合并，因为它已经包含在其中。您可以将此文件与您自定义的 LLM/VLM SFT 数据集合并，以启用推理生成能力。

预训练权重

我们建议用户从以下链接下载预训练权重：CLIP-Vit-L-336, OpenCLIP-ConvNeXt-L, Gemma-2b-it, Vicuna-7b-v1.5, Vicuna-13b-v1.5, Mixtral-8x7B-Instruct-v0.1，以及 Nous-Hermes-2-Yi-34B，并将它们放入 model_zoo 目录中，遵循结构。

结构

在开始训练之前，文件夹结构应按如下方式组织：

MGM
├── mgm
├── scripts
├── work_dirs
│   ├── MGM
│   │   ├── MGM-2B
│   │   ├── ...
├── model_zoo
│   ├── LLM
│   │   ├── gemma
│   │   │   ├── gemma-2b-it
│   │   ├── vicuna
│   │   │   ├── 7B-V1.5
│   │   │   ├── 13B-V1.5
│   │   ├── llama-3
│   │   │   ├── Meta-Llama-3-8B-Instruct
│   │   │   ├── Meta-Llama-3-70B-Instruct
│   │   ├── mixtral
│   │   │   ├── Mixtral-8x7B-Instruct-v0.1
│   │   ├── Nous-Hermes-2-Yi-34B
│   ├── OpenAI
│   │   ├── clip-vit-large-patch14-336
│   │   ├── openclip-convnext-large-d-320-laion2B-s29B-b131K-ft-soup
├── data
│   ├── MGM-Pretrain
│   │   ├── mgm_pretrain.json
│   │   ├── images
│   │   ├── ALLaVA-4V
│   ├── MGM-Finetune
│   │   ├── mgm_instruction.json
│   │   ├── llava
│   │   ├── coco
│   │   ├── gqa
│   │   ├── ocr_vqa
│   │   ├── textvqa
│   │   ├── vg
│   │   ├── gpt4v-dataset
│   │   ├── sam
│   │   ├── share_textvqa
│   │   ├── wikiart
│   │   ├── web-celebrity
│   │   ├── web-landmark
│   │   ├── ALLaVA-4V
│   │   ├── docvqa
│   │   ├── chartqa
│   │   ├── dvqa
│   │   ├── ai2d
│   ├── MGM-Eval
│   │   ├── MMMU
│   │   ├── MMB
│   │   ├── MathVista
│   │   ├── ...

训练

训练过程分为两个阶段：(1) 特征对齐阶段：连接视觉和语言标记；(2) 指令调优阶段：教会模型遵循多模态指令。

我们的模型是在配备 80GB 显存的 8 张 A100 GPU 上训练的。如果使用较少的 GPU 进行训练，可以相应地减少 per_device_train_batch_size 并增加 gradient_accumulation_steps。始终保持全局批量大小不变：per_device_train_batch_size × gradient_accumulation_steps × num_gpus。

请确保在训练前按照准备工作下载并整理好数据。

注意：对于两台机器的训练，请设置 hostfile；对于四台机器的训练，请设置 hostfile_4。

如果您想训练和微调该框架，请运行以下命令，针对 MGM-7B 使用 336 像素的图像尺寸：

bash scripts/llama/train/stage_1_2_full_v7b_336_hr_768.sh

或者针对 MGM-13B 使用 336 像素的图像尺寸：

bash scripts/llama/train/stage_1_2_full_v13b_336_hr_768.sh

由于我们复用了 MGM-7B 的预训练投影器权重，因此可以直接使用 MGM-7B-HD（672 像素）进行第二阶段的指令调优：

bash scripts/llama/train/stage_2_full_v7b_672_hr_1536.sh

更多关于 gemma、llama、mixtral 和 yi 的训练脚本，请参阅 scripts/ 目录。

评估

我们在多个基于图像的基准测试上进行了评估。请按照准备工作下载评估数据，并按照结构中的说明进行组织。

模型	大语言模型	分辨率	链接	TextVQA	MMB	MME	MM-Vet	MMMU_val	MMMU_test	MathVista
MGM-2B	Gemma-2B	336	检查点	56.2	59.8	1341/312	31.1	31.7	29.1	29.4
MGM-7B	Vicuna-7B-v1.5	336	检查点	65.2	69.3	1523/316	40.8	36.1	32.8	31.4
MGM-13B	Vicuna-13B-v1.5	336	检查点	65.9	68.5	1565/322	46.0	38.1	33.5	37.0
MGM-8B	LLaMA-3-8B-Instruct	336	检查点	67.6	72.7	1606/341	47.3	38.2	36.3	--
MGM-8x7B	Mixtral-8x7B-Instruct-v0.1	336	检查点	69.2	75.6	1639/379	45.8	41.8	37.1	41.8
MGM-34B	Nous-Hermes-2-Yi-34B	336	检查点	70.1	79.6	1666/439	53.0	48.7	43.6	38.9
MGM-7B-HD	Vicuna-7B-v1.5	672	检查点	68.4	65.8	1546/319	41.3	36.8	32.9	32.2
MGM-13B-HD	Vicuna-13B-v1.5	672	检查点	70.2	68.6	1597/320	50.5	37.3	35.1	37.0
MGM-8B-HD	LLaMA-3-8B-Instruct	672	检查点	71.6	--	1532/357	--	37.0	--	--
MGM-8x7B-HD	Mixtral-8x7B-Instruct-v0.1	672	检查点	71.9	74.7	1633/356	53.5	40.0	37.0	43.1
MGM-34B-HD	Nous-Hermes-2-Yi-34B	672	检查点	74.1	80.6	1659/482	59.3	48.0	44.9	43.3

如果您想在基于图像的基准测试上评估模型，请使用scripts/MODEL_PATH/eval中的脚本。 例如，要使用MGM-7B-HD对TextVQA进行评估，请运行以下命令：

bash scripts/llama/eval/textvqa.sh

更多评估脚本请参见scripts/MODEL_PATH。

命令行推理

无需Gradio界面即可与图像进行对话。它还支持多GPU、4位和8位量化推理。使用4位量化时。 请确保您已安装diffusers和PaddleOCR（仅为了更好的OCR体验），并尝试以下命令进行图像和生成推理：

python -m mgm.serve.cli \
    --model-path work_dirs/MGM/MGM-13B-HD \
    --image-file <您的图像路径>

或者尝试更好的OCR体验（请确保已安装PaddleOCR）：

python -m mgm.serve.cli \
    --model-path work_dirs/MGM/MGM-13B-HD \
    --image-file <您的图像路径> \
    --ocr

或者尝试生成推理（请确保已安装diffusers）：

python -m mgm.serve.cli \
    --model-path work_dirs/MGM/MGM-13B-HD \
    --image-file <您的图像路径> \
    --gen

您还可以尝试8位甚至4位以实现高效推理

python -m mgm.serve.cli \
    --model-path work_dirs/MGM/MGM-13B-HD \
    --image-file <您的图像路径> \
    --gen
    --load-8bit

Gradio Web UI

在这里，我们采用了类似于LLaVA的Gradio界面，为我们的模型提供了一个用户友好的界面。 要在本地启动Gradio演示，请依次运行以下命令。如果您计划启动多个模型工作节点以比较不同检查点之间的差异，则只需一次启动控制器和Web服务器。

启动控制器

python -m mgm.serve.controller --host 0.0.0.0 --port 10000

启动Gradio Web服务器。

python -m mgm.serve.gradio_web_server --controller http://localhost:10000 --model-list-mode reload

您刚刚启动了Gradio Web界面。现在，您可以使用屏幕上打印的URL打开该界面。您可能会注意到模型列表中没有模型。不用担心，因为我们还没有启动任何模型工作节点。当您启动一个模型工作节点时，它会自动更新。

启动模型工作节点

这是实际在GPU上执行推理的工作节点。每个工作节点负责--model-path中指定的单个模型。

python -m mgm.serve.model_worker --host 0.0.0.0 --controller http://localhost:10000 --port 40000 --worker http://localhost:40000 --model-path work_dirs/MGM/MGM-13B-HD

等待进程完成模型加载，直到看到“Uvicorn正在运行...”。现在，刷新您的Gradio Web界面，您将看到刚刚启动的模型出现在模型列表中。

您可以根据需要启动任意数量的工作节点，并在同一Gradio界面中比较不同的模型。请保持--controller不变，同时为每个工作节点修改--port和--worker以使用不同的端口号。

python -m mgm.serve.model_worker --host 0.0.0.0 --controller http://localhost:10000 --port <不同于40000，比如40001> --worker http://localhost:<相应地更改，即40001> --model-path work_dirs/MGM/MGM-34B-HD

如果您使用的是配备M1或M2芯片的Apple设备，可以通过使用--device标志指定mps设备：--device mps。

启动模型工作节点（多GPU，当GPU显存≤24GB时）

如果您的GPU显存小于24GB（例如RTX 3090、RTX 4090等），您可以尝试使用多个GPU运行。我们最新的代码库会在您拥有多个GPU时自动尝试使用多GPU。您可以使用CUDA_VISIBLE_DEVICES指定要使用的GPU。下面是一个使用前两个GPU运行的示例。

CUDA_VISIBLE_DEVICES=0,1 python -m mgm.serve.model_worker --host 0.0.0.0 --controller http://localhost:10000 --port 40000 --worker http://localhost:40000 --model-path work_dirs/MGM/MGM-13B-HD

启动模型工作节点（4位、8位推理，量化）

您可以启动带有量化位数（4位、8位）的模型工作节点，这可以让您以更小的GPU内存占用运行推理。请注意，使用量化位数进行推理可能不如全精度模型准确。只需在您正在执行的模型工作节点命令中添加--load-4bit或--load-8bit即可。下面是一个使用4位量化运行的示例。

python -m mgm.serve.model_worker --host 0.0.0.0 --controller http://localhost:10000 --port 40000 --worker http://localhost:40000 --model-path work_dirs/MGM/MGM-13B-HD --load-4bit

示例

我们在这一部分提供了一些示例。更多示例可以在我们的项目页面上找到。

高分辨率理解

带推理的生成

引用

如果您觉得本仓库对您的研究有帮助，请考虑引用以下论文：

@article{li2024mgm,
  title={Mini-Gemini: 挖掘多模态视觉语言模型的潜力},
  author={李彦伟、张悦晨、王成耀、钟志胜、陈义欣、褚瑞航、刘绍腾、贾嘉亚},
  journal={arXiv:2403.18814},
  year={2023}
}

致谢

本项目与谷歌公司无任何关联。

我们衷心感谢以下开源项目及其贡献者：

• 本工作基于 LLaVA 构建。
• 本工作使用了来自 Gemma、Vicuna、Mixtral 和 Nous-Hermes 的大语言模型。

许可证

本项目的数据和检查点仅用于科研目的，并受相关许可协议约束。它们同样受到 LLaVA、LLaMA、Vicuna 和 GPT-4 许可协议的限制。数据集采用 CC BY NC 4.0 许可（仅允许非商业用途），使用该数据集训练的模型也不得用于科研以外的场景。

MGM (Mini-Gemini) 快速上手指南

MGM 是一个支持多模态理解、推理及生成的视觉语言模型框架，基于 LLaVA 构建，支持从 2B 到 34B 的稠密及 MoE 大语言模型（包括 LLaMA3、Mixtral 等）。

1. 环境准备

• 操作系统: Linux (推荐 Ubuntu)
• Python 版本: 3.10
• GPU: 建议使用 NVIDIA GPU (训练需多卡，推理单卡即可，显存需求视模型大小而定)
• 前置依赖:
  • Conda (用于环境管理)
  • Git
  • CUDA Toolkit (需与 PyTorch 版本匹配)
  • 注意: 若使用 2B 版本模型，请确保 transformers 库版本 >= 4.38.0。

2. 安装步骤

2.1 克隆仓库

git clone https://github.com/dvlab-research/MGM.git
cd MGM

2.2 创建并激活虚拟环境

conda create -n mgm python=3.10 -y
conda activate mgm

2.3 安装核心依赖

启用 PEP 660 支持并安装项目包：

pip install --upgrade pip
pip install -e .

2.4 安装训练额外依赖

如需进行模型训练或微调，需安装以下组件（包含 Flash Attention 加速）：

pip install ninja
pip install flash-attn --no-build-isolation

提示: 国内用户若下载 flash-attn 较慢，可尝试使用清华源或阿里源镜像，例如： pip install flash-attn --no-build-isolation -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 基本使用

3.1 模型下载

在运行前，请从 Hugging Face 下载预训练权重。以下是部分主流模型的下载地址：

模型名称	基础 LLM	分辨率类型	下载链接
MGM-7B	Vicuna-7B-v1.5	标准 (336/768)	Hugging Face
MGM-13B-HD	Vicuna-13B-v1.5	高清 (672/1536)	Hugging Face
MGM-8B	LLaMA-3-8B-Instruct	标准	Hugging Face
MGM-8x7B	Mixtral-8x7B	标准	Hugging Face

同时需要下载对应的视觉编码器权重（如 CLIP-Vit-L-336）和基座 LLM 权重，并按项目要求的目录结构存放于 model_zoo 文件夹中。

3.2 目录结构配置

确保文件组织如下（以 MGM-7B 为例）：

MGM
├── model_zoo
│   ├── LLM
│   │   └── vicuna
│   │       └── 7B-V1.5  # 放置 Vicuna 权重
│   ├── OpenAI
│   │   └── clip-vit-large-patch14-336 # 放置 CLIP 权重
├── work_dirs
│   └── MGM
│       └── MGM-7B       # 用于存放训练输出或临时文件

3.3 推理示例

MGM 提供了脚本用于单图推理。假设你已准备好模型权重，可以使用以下命令进行测试（具体脚本路径请参考 scripts 目录下的示例）：

# 示例：运行评估或推理脚本
# 请根据实际下载的模型路径修改 --model-path 和 --image-file 参数
python mgm/eval/model_vqa.py \
    --model-path ./model_zoo/LLM/vicuna/7B-V1.5 \
    --image-file ./images/test_image.jpg \
    --conv-mode vicuna_v1

注：由于原 README 中具体的推理命令在截断部分，建议参考仓库内 scripts/ 目录下的 .sh 文件获取针对特定模型（如 2B, 7B, 13B-HD 等）的最优启动参数。

3.4 在线体验

如果本地资源有限，可直接访问官方提供的 Demo 进行体验：

• Hugging Face Spaces: MGM Demo
• 项目主页 Demo: Mini-Gemini Project Page