:label: 识别任何事物模型

本项目旨在开发一系列开源且强大的基础图像识别模型。

• 识别任何事物增强版模型（RAM++） [论文]
  

  RAM++ 是 RAM 的下一代模型，能够以高精度识别任意类别，包括预定义的常见类别和多样化的开放集类别。

• 识别任何事物模型（RAM） [论文][演示]
  

  RAM 是一个图像标注模型，能够以高精度识别任何常见类别。

  RAM 已被 CVPR 2024 多模态基础模型研讨会 接受。

• Tag2Text（ICLR 2024） [论文][演示]
  

  Tag2Text 是一种由标注引导的视觉语言模型，能够同时支持标注和全面的图文描述。

  Tag2Text 已被 ICLR 2024 接受！维也纳见！

:bulb: 亮点

卓越的图像识别能力

RAM++ 在常见标签类别、不常见标签类别以及人与物体交互短语方面，均优于现有的最先进基础图像识别模型。

零样本图像识别性能对比。

强大的视觉语义分析能力

我们已将 Tag2Text 和 RAM 与定位模型（Grounding-DINO 和 SAM）相结合，在 Grounded-SAM 项目中开发出一套强大的视觉语义分析流水线。

:sunrise: 模型动物园

RAM++

RAM++ 是 RAM 的下一代版本，能够以高精度识别任何类别，包括预定义的常见类别以及多样化的开放集类别。

• 针对常见预定义类别。 RAM++ 具备强大的零样本泛化能力，展现出卓越的图像标注能力，其性能与 RAM 保持一致。
• 针对多样化的开放集类别。 RAM++ 在 CLIP 和 RAM 的基础上实现了显著提升。

(绿色表示完全监督学习，其他颜色表示零样本性能。)

RAM++ 在开放集类别识别方面表现出显著提升。

RAM 是一款强大的图像标注模型，能够以高精度识别任何常见类别。

• 强大且通用。 RAM 具备出色的零样本泛化能力；
  • RAM 展现出令人印象深刻的零样本性能，显著优于 CLIP 和 BLIP。
  • RAM 甚至超越了完全监督的方法（ML-Decoder）。
  • RAM 的性能与 Google 标注 API 相当。
• 可复现且经济实惠。 RAM 使用开源且无需标注的数据集，复现成本较低；
• 灵活且多功能。 RAM 具有极高的灵活性，适用于多种应用场景。

(绿色表示完全监督学习，蓝色表示零样本性能。)

RAM 在 Tag2text 框架的基础上显著提升了标注能力。

• 准确性。 RAM 利用数据引擎生成额外的标注并清理错误标注，相比 Tag2Text 准确性更高。
• 覆盖范围。 RAM 将固定标签的数量从 3,400 多个提升至 6,400+ 个（经过同义词归并后为 4,500 多个不同的语义标签），覆盖了更多有价值的类别。 此外，RAM 还具备开放集能力，能够识别训练过程中未出现过的标签。

Tag2Text 是一个高效且可控的视觉-语言模型，具有标注引导功能。

• 标注。 Tag2Text 能够识别 3,400+ 种人类常用类别，无需人工标注。
• 描述生成。 Tag2Text 将标签信息作为引导元素融入文本生成中，从而产生更可控、更全面的描述。
• 检索。 Tag2Text 提供标签作为额外的可见对齐指标，用于图像-文本检索。

Tag2Text 在标注引导下生成更全面的描述。

Tag2Text 提供标签作为额外的可见对齐指标。

:open_book: 训练数据集

图像文本与标签

这些标注文件来自 Tag2Text 和 RAM。Tag2Text 会自动从图像-文本对中提取图像标签。而 RAM 则通过自动化数据引擎进一步扩充标签和文本内容。

CC12M 将在下一次更新中发布。

LLM 标签描述

这些标签描述文件来自 RAM++，通过调用 GPT API 生成。您也可以使用 generate_tag_des_llm.py 自定义任何标签类别。

:toolbox: 检查点

注意：您需要创建一个名为 'pretrained' 的文件夹，并将这些检查点下载到该文件夹中。

:running: 模型推理

设置步骤

1. 创建并激活 Conda 环境：

conda create -n recognize-anything python=3.8 -y
conda activate recognize-anything

2. 安装 recognize-anything 包：

pip install git+https://github.com/xinyu1205/recognize-anything.git

3. 或者，如果您需要进行开发，可以从源代码构建：

git clone https://github.com/xinyu1205/recognize-anything.git
cd recognize-anything
pip install -e .

之后，您就可以在其他项目中导入 RAM++、RAM 和 Tag2Text 模型：

from ram.models import ram_plus, ram, tag2text

RAM++ 推理

获取图像的英文和中文输出：

python inference_ram_plus.py --image images/demo/demo1.jpg --pretrained pretrained/ram_plus_swin_large_14m.pth

输出将如下所示：

Image Tags:  armchair | blanket | lamp | carpet | couch | dog | gray | green | hassock | home | lay | living room | picture frame | pillow | plant | room | wall lamp | sit | wood floor
图像标签:  扶手椅  | 毯子/覆盖层 | 灯  | 地毯  | 沙发 | 狗 | 灰色 | 绿色  | 坐垫/搁脚凳/草丛 | 家/住宅 | 躺  | 客厅  | 相框  | 枕头  | 植物  | 房间  | 壁灯  | 坐/放置/坐落 | 木地板

RAM++ 在未见类别上的推理（开放集）

1. 获取图像的 OpenImages-罕见类别：

我们已在 openimages_rare_200_llm_tag_descriptions 中发布了 OpenImages-罕见类别的 LLM 标签描述。

python inference_ram_plus_openset.py  --image images/openset_example.jpg 
--pretrained pretrained/ram_plus_swin_large_14m.pth 
--llm_tag_des datasets/openimages_rare_200/openimages_rare_200_llm_tag_descriptions.json

输出将如下所示：

图像标签: 特写 | 小型车 | 卡丁车 | 赛马 | 运动型多用途车 | 跑车

2. 您也可以通过标签描述自定义任何要识别的类别：

修改 categories，并调用 GPT API 生成相应的标签描述：

python generate_tag_des_llm.py 
--openai_api_key '您的 OpenAI API 密钥' 
--output_file_path datasets/openimages_rare_200/openimages_rare_200_llm_tag_descriptions.json

python inference_ram.py  --image images/demo/demo1.jpg 
--pretrained pretrained/ram_swin_large_14m.pth

图像标签: 扶手椅 | 毯子 | 灯 | 地毯 | 沙发 | 狗 | 地板 | 家具 | 灰色 | 绿色 | 客厅 | 相框 | 枕头 | 植物 | 房间 | 坐 | 凳子 | 木地板
图像标签: 扶手椅 | 毯子/覆盖层 | 灯 | 地毯 | 沙发 | 狗 | 地板/地面 | 家具 | 灰色 | 绿色 | 客厅 | 相框 | 枕头 | 植物 | 房间 | 坐/放置/坐落 | 凳子 | 木地板

python inference_ram_openset.py  --image images/openset_example.jpg 
--pretrained pretrained/ram_swin_large_14m.pth

图像标签: 黑白 | 卡丁车

python inference_tag2text.py  --image images/demo/demo1.jpg 
--pretrained pretrained/tag2text_swin_14m.pth

python inference_tag2text.py  --image images/demo/demo1.jpg 
--pretrained pretrained/tag2text_swin_14m.pth 
--specified-tags "云,天空"

批量推理与评估

我们发布了两个数据集 OpenImages-common（214 个常见标签类别）和 OpenImages-rare（200 个罕见标签类别）。请将 OpenImages v6 的测试图像复制或符号链接到 datasets/openimages_common_214/imgs/ 和 datasets/openimages_rare_200/imgs。

在 OpenImages-common 数据集上评估 RAM++：

python batch_inference.py \
  --model-type ram_plus \
  --checkpoint pretrained/ram_plus_swin_large_14m.pth \
  --dataset openimages_common_214 \
  --output-dir outputs/ram_plus

在 OpenImages-rare 数据集上评估 RAM++ 的开放集能力：

python batch_inference.py \
  --model-type ram_plus \
  --checkpoint pretrained/ram_plus_swin_large_14m.pth \
  --open-set \
  --dataset openimages_rare_200 \
  --output-dir outputs/ram_plus_openset

在 OpenImages-common 数据集上评估 RAM：

python batch_inference.py \
  --model-type ram \
  --checkpoint pretrained/ram_swin_large_14m.pth \
  --dataset openimages_common_214 \
  --output-dir outputs/ram

在 OpenImages-rare 数据集上评估 RAM 的开放集能力：

python batch_inference.py \
  --model-type ram \
  --checkpoint pretrained/ram_swin_large_14m.pth \
  --open-set \
  --dataset openimages_rare_200 \
  --output-dir outputs/ram_openset

在 OpenImages-common 数据集上评估 Tag2Text：

python batch_inference.py \
  --model-type tag2text \
  --checkpoint pretrained/tag2text_swin_14m.pth \
  --dataset openimages_common_214 \
  --output-dir outputs/tag2text

更多选项请参阅 batch_inference.py。若需获得 RAM 论文表 3 中的 P/R 值，对于 RAM 请传递 --threshold=0.86，对于 Tag2Text 则传递 --threshold=0.68。

如需对自定义图像进行批量推理，您可以参照上述两个数据集自行设置数据集。

:golfing: 模型训练/微调

RAM++

1. 下载 RAM 训练数据集，其中每个 JSON 文件包含一个列表。列表中的每个条目是一个字典，包含三个键值对：{'image_path': 图像路径, 'caption': 图像描述文本, 'union_label_id': 用于标注的图像标签，包括解析标签和伪标签}。

2. 在 ram/configs/pretrain.yaml 中，将 'train_file' 设置为这些 JSON 文件的路径。

3. 准备 预训练的 Swin-Transformer，并在 ram/configs/swin 中设置 'ckpt'。

4. 下载 RAM++ 冻结标签嵌入文件 “ram_plus_tag_embedding_class_4585_des_51.pth”，并将其放置在 "ram/data/frozen_tag_embedding/ram_plus_tag_embedding_class_4585_des_51.pth"。

5. 使用 8 张 A100 GPU 对模型进行预训练：

python -m torch.distributed.run --nproc_per_node=8 pretrain.py \
  --model-type ram_plus \
  --config ram/configs/pretrain.yaml  \
  --output-dir outputs/ram_plus

6. 使用 8 张 A100 GPU 对预训练检查点进行微调：

python -m torch.distributed.run --nproc_per_node=8 finetune.py \
  --model-type ram_plus \
  --config ram/configs/finetune.yaml  \
  --checkpoint outputs/ram_plus/checkpoint_04.pth \
  --output-dir outputs/ram_plus_ft

python -m torch.distributed.run --nproc_per_node=8 pretrain.py \
  --model-type ram \
  --config ram/configs/pretrain.yaml  \
  --output-dir outputs/ram

python -m torch.distributed.run --nproc_per_node=8 finetune.py \
  --model-type ram \
  --config ram/configs/finetune.yaml  \
  --checkpoint outputs/ram/checkpoint_04.pth \
  --output-dir outputs/ram_ft

python -m torch.distributed.run --nproc_per_node=8 pretrain.py \
  --model-type tag2text \
  --config ram/configs/pretrain_tag2text.yaml  \
  --output-dir outputs/tag2text

python -m torch.distributed.run --nproc_per_node=8 finetune.py \
  --model-type tag2text \
  --config ram/configs/finetune_tag2text.yaml  \
  --checkpoint outputs/tag2text/checkpoint_04.pth \
  --output-dir outputs/tag2text_ft

:black_nib: 引用

如果您认为我们的工作对您的研究有所帮助，请考虑引用。

@article{huang2023open,
  title={开放集图像标注与多粒度文本监督},
  author={黄鑫宇、黄义杰、张友才、田伟伟、冯锐、张跃杰、谢延春、李雅倩、张磊},
  journal={arXiv 预印本},
  pages={arXiv--2310},
  year={2023}
}

@article{zhang2023recognize,
  title={识别一切：强大的图像标注模型},
  author={张友才、黄鑫宇、马金宇、李兆阳、罗赵川、谢延春、秦宇卓、罗彤、李雅倩、刘士龙等},
  journal={arXiv 预印本 arXiv:2306.03514},
  year={2023}
}

@article{huang2023tag2text,
  title={Tag2Text：通过图像标注引导视觉-语言模型},
  author={黄鑫宇、张友才、马金宇、田伟伟、冯锐、张跃杰、李雅倩、郭彦东、张磊},
  journal={arXiv 预印本 arXiv:2303.05657},
  year={2023}
}

:hearts: 致谢

这项工作得益于 BLIP 令人惊叹的代码库，在此表示衷心感谢！

我们还要感谢 @Cheng Rui、@Shilong Liu 和 @Ren Tianhe 在 将 RAM/Tag2Text 与 Grounded-SAM 结合方面提供的帮助。

此外，我们也感谢 Ask-Anything 和 Prompt-can-anything 将 RAM/Tag2Text 结合起来，这极大地扩展了 RAM/Tag2Text 的应用范围。

Recognize Anything 快速上手指南

Recognize Anything (RAM) 系列模型是一组强大的开源图像识别基础模型，包含 RAM++（支持任意类别的高精度识别）、RAM（高精度常见类别标签识别）和 Tag2Text（结合标签引导的图文生成模型）。本指南将帮助您快速部署并使用这些模型。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux 或 macOS (Windows 用户建议使用 WSL2 或 Docker)
• Python: 3.8 或更高版本
• GPU: 推荐 NVIDIA GPU (显存建议 8GB 以上以运行 Swin-Large 版本)，需安装对应的 CUDA 驱动
• 依赖管理: 推荐使用 conda 或 venv 创建独立虚拟环境

安装步骤

1. 克隆项目代码

首先从 GitHub 克隆仓库到本地：

git clone https://github.com/xinyu1205/recognize-anything.git
cd recognize-anything

2. 安装依赖

安装项目所需的 Python 依赖包。如果下载速度较慢，可配置国内镜像源（如清华源）：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

注意：如果 requirements.txt 中未明确指定 torch 版本，请根据您的 CUDA 版本手动安装 PyTorch。例如：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

3. 下载预训练模型

项目提供了 RAM++、RAM 和 Tag2Text 的预训练权重。您需要创建一个 pretrained 文件夹并将模型文件放入其中。

手动下载方式： 访问 Hugging Face Model Hub 下载以下核心模型文件，并放入项目根目录下的 pretrained/ 文件夹中：

• RAM++ (推荐): ram_plus_swin_large_14m.pth
  • 下载地址: RAM++ Checkpoint
• RAM: ram_swin_large_14m.pth
• Tag2Text: tag2text_swin_14m.pth

mkdir pretrained
# 示例：使用 wget 下载 RAM++ (请替换为实际下载链接或使用浏览器下载后移动文件)
# wget -P pretrained/ <RAM++_Download_URL>

基本使用

以下是最简单的 Python 脚本示例，展示如何使用 RAM++ 对单张图片进行标签识别。

代码示例

创建一个名为 demo.py 的文件，写入以下内容：

import torch
from torchvision import transforms
from ram.models import ram_plus
from ram import inference_ram_plus
import cv2

# 1. 设置设备
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

# 2. 加载模型 (确保 pretrained 文件夹下有对应的权重文件)
image_size = 384
model = ram_plus(pretrained='pretrained/ram_plus_swin_large_14m.pth',
                 image_size=image_size,
                 vit='swin_l')
model.eval()
model = model.to(device)

# 3. 数据预处理
transform = transforms.Compose([
    transforms.Resize((image_size, image_size)),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
])

# 4. 加载图片
image_path = 'images/demo.jpg'  # 替换为您的图片路径
image = cv2.imread(image_path)
image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
image_input = transform(image).unsqueeze(0).to(device)

# 5. 执行推理
with torch.no_grad():
    tags = inference_ram_plus(image_input, model)

# 6. 输出结果
print("识别到的标签:", tags[0])

运行测试

确保您有一张测试图片（例如 images/demo.jpg），然后运行脚本：

python demo.py

输出示例： 模型将输出一串逗号分隔的英文标签，例如： sky, cloud, tree, grass, outdoor, nature, landscape

进阶提示

• 模型切换：若需使用原版 RAM 或 Tag2Text，只需更改导入的模型类 (ram, tag2text) 和对应的推理函数 (inference_ram, inference_tag2text)，并加载相应的权重文件。
• 批量处理：可以通过构建 DataLoader 对图片文件夹进行批量推理。
• Web Demo：项目也提供了基于 Gradio 的本地 Web 界面，可通过运行 app.py (如果项目中包含) 或使用 Hugging Face Spaces 在线体验。