新闻

• 2024年4月26日：RemoteCLIP的训练数据集（RET-3、SEG-4、DET-10）已在🤗HuggingFace上发布，详情请参见[gzqy1026/RemoteCLIP]。

• 2024年4月3日：我们的RemoteCLIP论文已被IEEE地球科学与遥感汇刊（TGRS）接收[doi]。

• 2024年3月1日：RemoteCLIP已加入paperswithcode.com排行榜

• 2023年12月1日：现在你可以使用RemoteCLIP通过Autodistill框架中的autodistill-remote-clip扩展来自动标注遥感数据集，感谢来自Roboflow的James Gallagher！

• 2023年11月7日：为了便于复现RemoteCLIP在图像文本检索任务上的SOTA结果，我们准备了一个retrieval.py脚本，用于在RSITMD、RSICD和UCM数据集上进行检索评估。详细信息请参见检索评估部分。

• 2023年7月27日：我们发布了RemoteCLIP模型的预训练检查点（ResNet-50、ViT-base-32和ViT-large-14）！我们将权重转换为OpenCLIP格式，使得加载和使用RemoteCLIP变得极其简单！详细信息请参见加载RemoteCLIP部分。我们还提供了一个Jupyter Notebook演示文件demo.ipynb。你也可以，感谢来自悉尼大学的Gordon McDonald博士！

• 2023年6月19日：我们提出了RemoteCLIP，这是首个用于遥感的视觉语言基础模型。我们的RemoteCLIP论文预印本已在arxiv上发布[2306.11029]。

简介

欢迎来到我们论文“RemoteCLIP：用于遥感的视觉语言基础模型”的官方仓库！

通用基础模型在人工智能领域的重要性日益凸显。尽管自监督学习（SSL）和掩码图像建模（MIM）在构建遥感领域的此类基础模型方面取得了令人鼓舞的成绩，但这些模型主要学习低级特征，需要标注数据进行微调，并且由于缺乏语言理解能力，无法应用于检索和零样本任务。

针对这些局限性，我们提出了RemoteCLIP，这是首个用于遥感的视觉语言基础模型，旨在学习具有丰富语义的稳健视觉特征，以及对齐的文本嵌入，以实现无缝的下游应用。 为了解决预训练数据稀缺的问题，我们采用了数据扩增技术，通过基于Box-to-Caption（B2C）和Mask-to-Box（M2B）转换的异构标注转换，并进一步引入无人机影像，最终构建了一个规模扩大12倍的预训练数据集。

RemoteCLIP可应用于多种下游任务，包括零样本图像分类、线性探测、k-NN分类、少样本分类、图像文本检索以及目标计数等。在16个数据集上的评估，其中包括一个新引入的RemoteCount基准测试目标计数能力，表明RemoteCLIP在不同模型规模下均持续优于基线基础模型。

令人印象深刻的是，RemoteCLIP在RSICD数据集上的平均召回率比之前的SoTA高出9.14%，而在RSITMD数据集上则高出8.92%。对于零样本分类任务，我们的RemoteCLIP在12个下游数据集上的平均准确率比CLIP基线高出多达6.39%。

加载 RemoteCLIP

RemoteCLIP 是使用 ITRA 代码库训练的，我们已将预训练检查点转换为与 OpenCLIP 兼容的格式，并上传至 [此 Huggingface 仓库]，以便更便捷地访问该模型！

• 要加载 RemoteCILP，首先请准备一个安装了 OpenCLIP 的环境，例如通过运行以下命令：

  # https://pypi.org/project/open-clip-torch/
  pip install open-clip-torch
  

• 然后，从 huggingface 下载预训练检查点，您可以使用 Git LFS 克隆仓库，或通过 huggingface_hub 自动下载：

  from huggingface_hub import hf_hub_download
  
  for model_name in ['RN50', 'ViT-B-32', 'ViT-L-14']:
      checkpoint_path = hf_hub_download("chendelong/RemoteCLIP", f"RemoteCLIP-{model_name}.pt", cache_dir='checkpoints')
      print(f'{model_name} is downloaded to {checkpoint_path}.')
  

• 现在，您可以通过 OpenCLIP 初始化一个 CLIP 模型，然后用几行代码加载 RemoteCLIP 检查点：

  import torch, open_clip
  from PIL import Image
  
  model_name = 'ViT-L-14' # 'RN50' 或 'ViT-B-32' 或 'ViT-L-14'
  model, _, preprocess = open_clip.create_model_and_transforms(model_name)
  tokenizer = open_clip.get_tokenizer(model_name)
  
  ckpt = torch.load(f"path/to/your/checkpoints/RemoteCLIP-{model_name}.pt", map_location="cpu")
  message = model.load_state_dict(ckpt)
  print(message)
  
  model = model.cuda().eval()
  

• 以下是使用 RemoteCILP 进行文本到图像检索的示例：

  text_queries = [
      "繁忙的机场，有许多飞机。", 
      "河海大学的卫星视图。", 
      "湖边的一栋建筑。", 
      "体育场里有很多人。", 
      "一只可爱的小猫",
      ]
  text = tokenizer(text_queries)
  image = preprocess(Image.open("https://oss.gittoolsai.com/images/ChenDelong1999_RemoteCLIP_readme_3594d0e766b5.jpg")).unsqueeze(0)
  
  with torch.no_grad(), torch.cuda.amp.autocast():
      image_features = model.encode_image(image.cuda())
      text_features = model.encode_text(text.cuda())
      image_features /= image_features.norm(dim=-1, keepdim=True)
      text_features /= text_features.norm(dim=-1, keepdim=True)
  
      text_probs = (100.0 * image_features @ text_features.T).softmax(dim=-1).cpu().numpy()[0]
  
  print(f'Predictions of {model_name}:')
  for query, prob in zip(text_queries, text_probs):
      print(f"{query:<40} {prob * 100:5.1f}%")
  

  您可能会得到如下输出：

  Predictions of RN50:
  繁忙的机场，有许多飞机。      100.0%
  河海大学的卫星视图。        0.0%
  湖边的一栋建筑。                 0.0%
  体育场里有很多人。                  0.0%
  一只可爱的小猫                                 0.0%
  

  

  您可以在 demo.ipynb 中运行上述代码，也可以点击 直接在 Colab 中运行！

检索评估

为了使用 RemoteCLIP 进行跨模态检索，我们在测试集上提取图像和文本特征，进行 L-2 归一化，并基于点积相似度度量检索最相似的样本。我们展示了 top-1（R@1）、top-5（R@5）、top-10（R@10）的检索准确率，以及这些值的平均准确率。

我们准备了一个 retrieval.py 脚本用于复现检索评估。请按照以下步骤评估 RemoteCLIP 在 RSITMD、RSICD 和 UCM 数据集上的检索性能：

• 要运行检索评估，首先请安装额外的依赖：pip install clip_benchmark。

• 然后下载并解压图像-文本数据集 RSITMD、RSICD 和 UCM。

• 执行以下命令以获得图像到文本和文本到图像的检索结果：

  python retrieval.py \
    --model-name "ViT-B-32" \
    --retrieval-images-dir "/path/to/rsitmd/images" \
    --retrieval-json-dir "/path/to/dataset_rsitmd.json" \
    --remoteclip-path "/path/to/RemoteCLIP_ViT-B-32.pt"
  

致谢

• 感谢蔡雯雯在 RemoteCount 数据集方面所做的努力。
• 感谢 Dr. Gordon McDonald 让 Jupyter Notebook 可以在 Colab 中使用！
• 感谢 James Gallagher 将 RemoteCLIP 集成到 autodistill 中！

引用

如果您觉得这项工作有用，请按以下格式引用我们的论文：

@article{remoteclip,
  author       = {Fan Liu and
                  Delong Chen and
                  Zhangqingyun Guan and
                  Xiaocong Zhou and
                  Jiale Zhu and
                  Qiaolin Ye and
                  Liyong Fu and
                  Jun Zhou},
  title        = {RemoteCLIP: {A} Vision Language Foundation Model for Remote Sensing},
  journal      = {{IEEE} Transactions on Geoscience and Remote Sensing},
  volume       = {62},
  pages        = {1--16},
  year         = {2024},
  url          = {https://doi.org/10.1109/TGRS.2024.3390838},
  doi          = {10.1109/TGRS.2024.3390838},
}

RemoteCLIP 快速上手指南

RemoteCLIP 是首个专为遥感领域设计的视觉 - 语言基础模型，支持零样本图像分类、图文检索、目标计数等下游任务。本指南将帮助您快速在本地环境中加载并使用该模型。

环境准备

• 系统要求：Linux / macOS / Windows (推荐 Linux)
• Python 版本：3.8 及以上
• 硬件要求：推荐使用 NVIDIA GPU 以加速推理（需安装 CUDA 对应的 PyTorch 版本）
• 前置依赖：
  • torch (PyTorch)
  • open-clip-torch
  • huggingface_hub (用于自动下载模型权重)
  • Pillow (图像处理)

国内加速建议：如果访问 Hugging Face 或 PyPI 较慢，建议配置国内镜像源。

• pip 源：pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
• Hugging Face 镜像：设置环境变量 export HF_ENDPOINT=https://hf-mirror.com

安装步骤

1. 安装 OpenCLIP 及相关依赖 通过 pip 安装核心库 open-clip-torch，它已包含所需的 torch 和 pillow 依赖（若未安装 torch 请先单独安装）。

   pip install open-clip-torch huggingface_hub
   

2. 下载预训练模型权重 RemoteCLIP 提供了三种架构的权重：RN50 (ResNet-50), ViT-B-32, ViT-L-14。以下脚本将自动从 Hugging Face 下载权重到本地 checkpoints 目录。

   from huggingface_hub import hf_hub_download
   
   # 可选模型名称：'RN50', 'ViT-B-32', 'ViT-L-14'
   model_name = 'ViT-L-14' 
   
   checkpoint_path = hf_hub_download(
       "chendelong/RemoteCLIP", 
       f"RemoteCLIP-{model_name}.pt", 
       cache_dir='checkpoints'
   )
   print(f'Model downloaded to: {checkpoint_path}')
   

基本使用

以下示例演示如何加载模型并进行最简单的图文检索（计算一张机场图片与多个文本描述匹配置信度）。

import torch
import open_clip
from PIL import Image

# 1. 初始化模型
# 可选：'RN50', 'ViT-B-32', 'ViT-L-14'
model_name = 'ViT-L-14' 
model, _, preprocess = open_clip.create_model_and_transforms(model_name)
tokenizer = open_clip.get_tokenizer(model_name)

# 2. 加载 RemoteCLIP 权重
# 请替换为实际下载的路径
ckpt_path = 'checkpoints/chendelong--RemoteCLIP/RemoteCLIP-ViT-L-14.pt' 
ckpt = torch.load(ckpt_path, map_location="cpu")
model.load_state_dict(ckpt)

# 移至 GPU 并设为评估模式
model = model.cuda().eval()

# 3. 准备数据
text_queries = [
    "A busy airport with many airplanes.", 
    "Satellite view of Hohai University.", 
    "A building next to a lake.", 
    "Many people in a stadium.", 
    "a cute cat",
]
# 编码文本
text = tokenizer(text_queries).cuda()

# 加载并预处理图片 (示例使用 assets/airport.jpg，请替换为您的图片路径)
image = preprocess(Image.open("assets/airport.jpg")).unsqueeze(0).cuda()

# 4. 推理计算
with torch.no_grad(), torch.cuda.amp.autocast():
    image_features = model.encode_image(image)
    text_features = model.encode_text(text)
    
    # 归一化特征
    image_features /= image_features.norm(dim=-1, keepdim=True)
    text_features /= text_features.norm(dim=-1, keepdim=True)

    # 计算相似度并转换为概率
    text_probs = (100.0 * image_features @ text_features.T).softmax(dim=-1).cpu().numpy()[0]

# 5. 输出结果
print(f'Predictions of {model_name}:')
for query, prob in zip(text_queries, text_probs):
    print(f"{query:<40} {prob * 100:5.1f}%")

预期输出示例：

Predictions of ViT-L-14:
A busy airport with many airplanes.      100.0%
Satellite view of Hohai University.        0.0%
A building next to a lake.                 0.0%
Many people in a stadium.                  0.0%
a cute cat                                 0.0%