目录

• 安装
• 模型
• 数据
• 训练
• 推理
• 评估

性能

在多模态大语言模型的指代表达理解（REC）基准测试中，Groma 的性能处于行业领先水平。

方法	RefCOCO			RefCOCO+			RefCOCOg		平均
	val	testA	testB	val	testA	testB	val	test
Shikra	87.01	90.61	80.24	81.60	87.36	72.12	82.27	82.19	82.93
Ferret	87.49	91.35	82.45	80.78	87.38	73.14	83.93	84.76	83.91
MiniGPT-v2	88.69	91.65	85.33	79.97	85.12	74.45	84.44	84.66	84.29
Qwen-VL	89.36	92.26	85.34	83.12	88.25	77.21	85.58	85.48	85.83
Groma	89.53	92.09	86.26	83.90	88.91	78.05	86.37	87.01	86.52

安装

克隆仓库

git clone https://github.com/FoundationVision/Groma.git
cd Groma

创建 Conda 环境并安装依赖

conda create -n groma python=3.9 -y
conda activate groma
conda install pytorch==2.1.0 torchvision==0.16.0 torchaudio==2.1.0 pytorch-cuda=11.8 -c pytorch -c nvidia
pip install --upgrade pip  # 启用 PEP 660 支持
pip install -e .

cd mmcv
MMCV_WITH_OPS=1 pip install -e .
cd ..

安装 FlashAttention 以进行训练

pip install ninja
pip install flash-attn --no-build-isolation

模型权重

要体验 Groma，请从 Hugging Face 下载 模型权重。

我们还提供了中间训练阶段的预训练检查点。您可以从任意阶段开始自定义训练。

训练阶段	所需检查点
检测预训练	DINOv2-L
对齐预训练	Vicuna-7b-v1.5, Groma-det-pretrain
指令微调	Groma-7b-pretrain

数据准备

我们提供了下载 Groma 不同训练阶段所用数据集的说明， 包括 Groma Instruct， 这是一个由 GPT-4V 构建的包含 3 万个视觉关联对话的数据集。 您无需下载所有数据集，除非您想从头开始训练 Groma。 请按照 DATA.md 中的说明准备数据集。

训练阶段	数据类型	数据集
检测预训练	目标检测	COCO、Objects365、OpenImages、V3Det、SA1B
对齐预训练	图像描述	ShareGPT-4V-PT
	视觉关联描述	Flickr30k Entities
	区域描述	Visual Genome、RefCOCOg
	指代表达理解（REC）	COCO、RefCOCO/g/+, Grit-20m
指令微调	视觉关联描述	Flickr30k Entities
	区域描述	Visual Genome、RefCOCOg
	指代表达理解（REC）	COCO、RefCOCO/g/+
	指令遵循	Groma Instruct、LLaVA Instruct、ShareGPT-4V

训练

对于检测预训练，请运行

bash scripts/det_pretrain.sh {dinov2_ckpt路径} {输出目录}

对于对齐预训练，请运行

bash scripts/vl_pretrain.sh {vicuna_ckpt路径} {groma_det_pretrain_ckpt路径} {输出目录}

对于指令微调，请运行

bash scripts/vl_finetune.sh {groma_7b_pretrain_ckpt路径} {输出目录}

推理

若需对单张图片进行测试，可运行以下命令：

python -m groma.eval.run_groma \
    --model-name {groma_7b微调模型路径} \
    --image-file {图片路径} \
    --query {用户问题} \
    --quant_type 'none' # 推理时支持 ['none', 'fp16', '8bit', '4bit']

评估

有关评估的详细信息，请参阅 EVAL.md。

引用

若您认为本仓库对您的研究有所帮助，欢迎给我们点赞 ⭐ 或引用我们的论文：

@article{ma2024groma,
  title={Groma: 用于多模态大语言模型对齐的局部化视觉标记化},
  author={Ma, Chuofan and Jiang, Yi and Wu, Jiannan and Yuan, Zehuan and Qi, Xiaojuan},
  journal={arXiv预印本 arXiv:2404.13013},
  year={2024}
}

致谢

Groma 基于以下优秀的工作构建而成： LLaVA 和 GPT4ROI。

许可证

本项目采用 Apache License 2.0 许可证授权——详情请参阅 LICENSE 文件。

Groma 快速上手指南

Groma 是一款具备卓越区域理解与视觉定位能力的多模态大语言模型（MLLM）。它支持用户自定义的区域输入（边界框），并能生成与视觉上下文紧密关联的长文本回复。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu)
• Python 版本: 3.9
• GPU: 支持 CUDA 11.8 的 NVIDIA 显卡
• PyTorch 版本: 2.1.0
• 依赖管理: Conda

注意：国内开发者若遇到网络连接问题，建议在 pip 和 conda 命令中配置清华源或阿里源以加速下载。

安装步骤

1. 克隆仓库

git clone https://github.com/FoundationVision/Groma.git
cd Groma

2. 创建并激活 Conda 环境

conda create -n groma python=3.9 -y
conda activate groma

3. 安装核心依赖

安装指定版本的 PyTorch 及相关组件（建议使用官方源或国内镜像）：

conda install pytorch==2.1.0 torchvision==0.16.0 torchaudio==2.1.0 pytorch-cuda=11.8 -c pytorch -c nvidia

升级 pip 并安装项目基础依赖：

pip install --upgrade pip
pip install -e .

安装 MMCV 组件：

cd mmcv
MMCV_WITH_OPS=1 pip install -e .
cd ..

4. 安装训练加速组件

为了支持高效训练，需安装 flash-attn：

pip install ninja
pip install flash-attn --no-build-isolation

基本使用

1. 下载模型权重

从 Hugging Face 下载微调后的模型权重。

• 模型地址: FoundationVision/groma-7b-finetune
• 下载后记下本地路径，例如：/path/to/groma-7b-finetune

提示：国内用户可使用 Hugging Face 镜像站（如 hf-mirror.com）或通过魔搭社区（ModelScope）查找是否有同步资源以加速下载。

2. 运行推理示例

使用以下命令对单张图片进行提问测试。该命令支持多种量化类型（none, fp16, 8bit, 4bit）。

python -m groma.eval.run_groma \
    --model-name /path/to/groma-7b-finetune \
    --image-file /path/to/your/image.jpg \
    --query "请描述图中红色框选区域内的物体" \
    --quant_type 'none'

参数说明：

• --model-name: 替换为您下载的模型权重文件夹路径。
• --image-file: 替换为您要测试的图片路径。
• --query: 您的自然语言提问，可包含对特定区域的描述。
• --quant_type: 推理精度模式，显存有限时可尝试 'fp16' 或 '4bit'。