GeoChat ：面向遥感的接地型大型视觉-语言模型 [CVPR-2024]

Kartik Kuckreja*, Muhammad Sohail Danish*, Muzammal Naseer, Abhijit Das, Salman Khan 和 Fahad Khan

* 共同第一作者

穆罕默德·本·扎耶德人工智能大学、比尔拉理工学院与科学研究所、澳大利亚国立大学、林雪平大学

---

📢 最新动态

• 已接受论文的补充材料现已发布：Supplementary。
• 2024年2月28日：我们开源了代码、模型、数据集和评估脚本。
• 2024年2月27日：GeoChat已被 CVPR-24 接受 🎉。
• 2023年11月28日：GeoChat论文已发布 arxiv链接。🔥🔥

---

概述

GeoChat是首个专为遥感（RS）场景设计的接地型大型视觉-语言模型。与通用领域模型不同，GeoChat在处理高分辨率遥感图像方面表现出色，采用区域级推理来实现对场景的全面理解。借助新创建的遥感多模态数据集，GeoChat基于LLaVA-1.5架构进行了微调。这使得它在多种遥感任务中展现出强大的零样本性能，包括图像和区域描述、视觉问答、场景分类、视觉接地对话以及指代性目标检测。

---

目录

• 安装
• 模型库
• 数据集
• 训练
• 评估

安装

1. 克隆此仓库并进入GeoChat文件夹

git clone https://github.com/mbzuai-oryx/GeoChat.git
cd GeoChat

2. 安装软件包

conda create -n geochat python=3.10 -y
conda activate geochat
pip install --upgrade pip  # 启用PEP 660支持
pip install -e .

3. 安装用于训练的额外软件包

pip install ninja
pip install flash-attn --no-build-isolation

升级到最新代码库

git pull
pip uninstall transformers
pip install -e .

GeoChat权重与演示

请查看我们的模型库，以获取所有公开的GeoChat检查点，并参阅LoRA.md，了解如何运行演示和进行训练。

训练

GeoChat的训练包括使用GeoChat_Instruct数据集进行视觉指令微调：318k条由Vicuna生成的多模态指令遵循数据，在LLaVA-v1.5的预训练权重基础上进行微调。

我们在3张配备40GB显存的A100 GPU上训练GeoChat。若使用较少的GPU进行训练，可相应降低per_device_train_batch_size并增加gradient_accumulation_steps。务必保持全局批次大小不变：per_device_train_batch_size × gradient_accumulation_steps × num_gpus。

超参数

我们在微调时采用了与Vicuna相似的超参数设置。以下同时列出了预训练和微调所使用的超参数。

超参数	全局批次大小	学习率	轮数	最大长度	权重衰减
GeoChat-7B	144	2e-5	1	2048	0

预训练（特征对齐）

我们使用LLaVAv1.5的预训练投影器，该投影器是在包含BLIP字幕的LAION-CC-SBU数据集558K子集上训练的。LLaVA-v1.5-7B大约需要3.5小时完成预训练。

• --mm_projector_type mlp2x_gelu：两层MLP视觉-语言连接器。
• --vision_tower openai/clip-vit-large-patch14-336：CLIP ViT-L/14 336px。

视觉指令微调

1. 准备数据

请下载我们指令微调数据最终混合体的标注文件GeoChat_Instruct.json，并从Hugging Face下载分割后的图像压缩包。将多个图像压缩包保存在一个文件夹中，然后运行以下命令将其合并：

cat images_parta* > images.zip

解压images.zip文件至一个文件夹，并将该文件夹路径输入到finetune_lora.sh中。

2. 开始训练！

由于CLIP分辨率提升至504×504，视觉指令微调所需时间更长。在3张A100（40G）上微调GeoChat-7B大约需要~25小时。

使用DeepSpeed ZeRO-3的训练脚本：finetune_lora.sh。

需要注意的选项：

• --mm_projector_type mlp2x_gelu：两层MLP视觉-语言连接器。
• --vision_tower openai/clip-vit-large-patch14-336：CLIP ViT-L/14 336px。
• --image_aspect_ratio pad：此选项会将非正方形图像填充为正方形，而不是裁剪它们；这样可以略微减少幻觉现象。
• --group_by_modality_length True：仅当您的指令微调数据集同时包含语言（例如ShareGPT）和多模态（例如LLaVA-Instruct）内容时才应使用此选项。

评估

我们基于一组多样化的7个基准测试对GeoChat进行了评估。为确保结果的可重复性，我们采用贪婪解码方式对模型进行评估。我们未使用束搜索进行评估，以使推理过程与实时输出的聊天演示保持一致。 详情请参阅Evaluation.md。

🏆 贡献

• 遥感多模态指令遵循数据集。 我们提出了一种新颖的数据生成流程，利用现有的目标检测数据集为图像生成简短描述，随后使用Vicuna-v1.5仅基于这些文本创建对话。此外，我们还引入了视觉问答和场景分类能力，并分别使用相应的数据集进行补充。最终，我们为遥感领域构建了一个包含318,000对指令的数据集。

• GeoChat。 基于我们的数据集，我们对LLaVA-1.5进行了微调，从而创建了面向遥感领域的视觉-语言模型——GeoChat。我们的LoRA微调方法高效且不会遗忘全量微调的LLaVA模型中所嵌入的关键上下文信息；该模型的MLP投影层经过训练，能够将图像映射到LLM（Vicuna-v1.5）的词嵌入空间中。这使得GeoChat既能保留LLaVA的对话和指令遵循能力，又能将其领域知识扩展到遥感任务中。

• 评估基准。 我们还解决了现有视觉-语言模型在遥感对话任务上缺乏评估基准的问题。为此，我们制定了遥感场景下对话定位的评估协议，并设计了一系列任务，以便未来相关工作可以进行比较。我们展示了针对不同遥感任务的各种监督式及零样本评估结果，包括图像字幕生成、视觉问答和场景分类，以证明GeoChat这一对话型视觉-语言模型的泛化能力。

---

👁️💬 GeoChat：面向遥感的具身大型视觉-语言模型

GeoChat能够在统一的框架内完成多项遥感图像理解任务。通过提供适当的任务标记和用户查询，该模型可以生成具有视觉定位的响应（文本中包含对应的目标位置，如图顶部所示）、针对图像及特定区域的视觉问答（分别位于左上角和右下角），以及场景分类（右上角）和常规自然语言对话（底部）。这使其成为首个具备具身能力的遥感视觉-语言模型。

---

🛰️ GeoChat：架构

GeoChat的架构概览——这是首个面向遥感领域的具身大型视觉-语言模型。给定一张输入图像和用户查询后，首先会使用视觉骨干网络以更高分辨率编码补丁级特征，并通过插值位置编码来实现。随后，一个多层感知机（MLP）会将视觉特征适配到适合输入大型语言模型（Vicuna 1.5）的语言空间中。除了视觉输入外，还可以将区域位置与特定于任务的提示一同输入模型，以明确用户所需执行的任务类型。在此上下文中，语言模型能够生成自然语言响应，并将相应目标的位置信息穿插其中。如图顶部所示，GeoChat可执行多种任务，例如场景分类、图像/区域字幕生成、视觉问答以及具身对话。

---

🔍 遥感多模态指令数据集

GeoChat指令集中包含的各类标注类型。对于给定的遥感图像，我们提取了对象属性与关系信息、指代表达和区域字幕，同时附带对应的区域标注（显示在图像上方）。这些结构化信息被用于构建丰富的指令集，总计包含318,000对图像-指令对。

---

🤖 GeoChat 定性结果

GeoChat的定性结果。（从左至右）展示的内容包括场景定位、指代目标检测以及灾害/损伤检测。用户可以通过提供特定于任务的标记（例如[grounding]）来引导模型生成符合需求的响应。模型可以生成纯文本响应（右图）、仅包含视觉定位的输出（中图），以及文本与目标定位信息交织的混合输出（左图）。此外，模型还能识别目标类型、数量、属性及相互关系。

---

🤖 视觉问答

视觉问答任务的定性示例。GeoChat能够根据不同类型的问题进行多轮对话，问题涵盖是否存在、数量统计、复杂比较等。它甚至可以在低分辨率图像上检测目标并展开对话。

---

🤖 场景分类

场景分类任务的定性示例。我们向模型提供了数据集中所有的类别，并要求其从中选择一个。

---

🤖 具身描述

当用户使用特殊标记“[grounding]”要求描述图像时，GeoChat不仅会生成图像描述，还会为所有检测到的物体绘制边界框。

---

🤖 指代表达

当用户询问某个目标的指代表达时，GeoChat能够准确定位该目标，并为其绘制旋转的边界框。

---

🤖 区域字幕

基于区域的字幕生成任务的定性示例。给定一个边界框，GeoChat能够为该区域或框内覆盖的对象提供简短描述。

---

📜 引用

  @article{kuckreja2023geochat,
          title={GeoChat: Grounded Large Vision-Language Model for Remote Sensing},
          author={Kuckreja, Kartik and Danish, Muhammad S. and Naseer, Muzammal and Das, Abhijit and Khan, Salman and Khan, Fahad S.},
          journal={The IEEE/CVF Conference on Computer Vision and Pattern Recognition},
          year={2024}
  }

🙏 致谢

我们感谢LLaVA和Vicuna开放其模型和代码，作为开源贡献。

---

GeoChat 快速上手指南

GeoChat 是首个专为遥感（Remote Sensing, RS）场景设计的接地大型视觉语言模型。基于 LLaVA-1.5 架构微调，它支持高分辨率遥感图像的图像描述、视觉问答、场景分类以及带有物体定位（Grounding）的多轮对话。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• GPU: 至少 1 张 NVIDIA GPU (训练推荐 3x A100 40GB，推理可根据模型大小调整)
• CUDA: 适配您的显卡驱动版本
• Python: 3.10
• 包管理器: Conda (推荐)

安装步骤

1. 克隆仓库

git clone https://github.com/mbzuai-oryx/GeoChat.git
cd GeoChat

2. 创建并激活虚拟环境

conda create -n geochat python=3.10 -y
conda activate geochat

3. 安装基础依赖

启用 PEP 660 支持并安装项目包：

pip install --upgrade pip
pip install -e .

4. 安装训练/推理额外依赖

为了支持高效训练和推理，需安装 ninja 和 flash-attn：

pip install ninja
pip install flash-attn --no-build-isolation

提示: 如果国内网络下载 flash-attn 较慢，可尝试使用清华源或阿里源加速： pip install flash-attn --no-build-isolation -i https://pypi.tuna.tsinghua.edu.cn/simple

5. 获取模型权重

请访问官方 Model Zoo 下载预训练权重。下载后请按照文档说明将权重放置在指定目录。

基本使用

GeoChat 的核心能力是通过特定的任务令牌（Task Tokens）来执行不同的遥感任务。以下是基于命令行脚本的最简使用逻辑。

运行演示 (Demo)

项目提供了基于 LoRA 的推理脚本。假设您已下载好模型权重并配置好路径，可以使用以下命令启动交互或批量推理（具体脚本路径参考 scripts/finetune_lora.sh 中的推理部分或官方 Demo 文档）：

通常推理命令结构如下（需根据实际下载的模型路径修改 --model-path 和 --image-file）：

python llava/eval/run_geochat.py \
    --model-path /path/to/geochat-7b-checkpoint \
    --image-file /path/to/remote_sensing_image.jpg \
    --query "Describe this image." \
    --conv-mode geochat

核心任务示例

GeoChat 通过在前缀添加特殊令牌来切换任务模式：

1. 接地描述 (Grounded Description)

   • 输入提示: [grounding] Describe the image.
   • 功能: 生成图像描述文本，并同时输出检测到的物体边界框坐标。

2. 指代表达检测 (Referring Expression)

   • 输入提示: Locate the [object description].
   • 功能: 根据文本描述定位物体，输出旋转边界框。

3. 视觉问答 (VQA)

   • 输入提示: How many buildings are visible in this region?
   • 功能: 针对图像或特定区域回答问题。

4. 场景分类 (Scene Classification)

   • 输入提示: Classify the scene into one of the following categories: [list of classes].
   • 功能: 对遥感场景进行分类。

数据准备（如需微调）

如果您计划使用自己的数据进行微调，需先准备指令数据集：

1. 从 HuggingFace 下载 GeoChat_Instruct.json 和图片压缩包。
2. 合并图片分卷：

   cat images_parta* > images.zip
   unzip images.zip -d ./images_folder
   

3. 修改 scripts/finetune_lora.sh 中的数据路径指向您的文件夹。

---

注：更多详细参数配置、多卡训练设置及评估基准请参考项目根目录下的 docs 文件夹及官方 GitHub 仓库。