ViT-Adapter

这是论文“用于密集预测的视觉Transformer适配器”（arXiv:2205.08534）的官方实现。

论文 | 中文博客 | 幻灯片 | 海报 | 英文视频 | 中文视频

分割Colab笔记本 | 检测Colab笔记本（感谢@IamShubhamGupto、@dudifrid）

新闻

• 2024/01/19: 使用冻结的InternViT-6B训练ViT-Adapter，详情请见这里!
• 2023/12/23: 🚀🚀🚀 我们发布了一个拥有60亿参数的基于ViT的视觉基础模型，详情请见这里!
• 2023/08/31: 🚀🚀 DINOv2发布了基于ViT-g的分割模型，并结合ViT-Adapter，详情请见这里。
• 2023/07/10: 🚀 支持使用DINOv2的权重进行目标检测，详情请见[detection/configs/mask_rcnn/dinov2/]!
• 2023/06/26: ViT-Adapter被CVPR 2023自动驾驶挑战赛Track 3（3D占用预测）冠军方案NVOCC采用。
• 2023/06/07: ViT-Adapter被ONE-PEACE使用，并在ADE20K数据集上创造了63.0 mIoU的新SOTA记录。
• 2023/04/14: ViT-Adapter被EVA和DINOv2采用！
• 2023/01/21: 我们的论文被ICLR 2023接受！
• 2023/01/17: 我们使用ViT-Adapter赢得了WSDM Cup 2023 Toloka VQA Challenge的冠军。
• 2022/10/20: Zhang等人采用了ViT-Adapter，并在UVO Challenge 2022中获得了第一名。
• 2022/08/22: ViT-Adapter被BEiT-3采用，在ADE20K数据集上创造了62.8 mIoU的新SOTA记录。
• 2022/06/09: ViT-Adapter-L在COCO test-dev上实现了60.4 box AP和52.5 mask AP，且未使用Objects365数据。
• 2022/06/04: 代码和模型正式发布。
• 2022/05/12: ViT-Adapter-L在Cityscapes测试集上达到了85.2 mIoU，且未使用粗粒度数据。
• 2022/05/05: ViT-Adapter-L在ADE20K验证集上以60.5 mIoU的成绩刷新了SOTA！

亮点

• ViT-Adapter支持多种密集预测任务，包括目标检测、实例分割、语义分割、视觉定位、全景分割等。
• 该代码库包含许多SOTA检测器和分割器，如HTC++、Mask2Former、DINO，能够实现顶尖性能。

https://user-images.githubusercontent.com/23737120/208140362-f2029060-eb16-4280-b85f-074006547a12.mp4

摘要

本研究提出了一种简单而强大的用于视觉Transformer（ViT）的密集预测任务适配器。与近期通过架构设计引入视觉特定归纳偏置的改进型模型不同，普通的ViT由于先验假设较弱，在密集预测任务上的表现往往欠佳。为了解决这一问题，我们提出了ViT-Adapter，它能够让普通的ViT达到与专门针对视觉任务设计的Transformer相当的性能。具体来说，我们的框架主干是一个普通的ViT，能够从大规模多模态数据中学习到强大的表征。当迁移到下游任务时，无需预训练的适配器会将与图像相关的归纳偏置引入模型，使其更适合这些任务。我们在多个密集预测任务上验证了ViT-Adapter，包括目标检测、实例分割和语义分割。值得注意的是，即使不使用额外的检测数据，我们的ViT-Adapter-L在COCO test-dev上仍取得了60.9 box AP和53.0 mask AP的最先进水平。我们希望ViT-Adapter能够作为视觉专用Transformer的一种替代方案，并促进未来的研究。代码和模型将随后公开。

方法

目录

• 支持闪存注意力
• 支持更快的可变形注意力
• 分割检查点
• 分割代码
• 检测检查点
• 检测代码
• 初始化

使用 ViT-Adapter 的优秀竞赛解决方案

第五届 LSVOS 挑战赛：视频实例分割第一名解决方案
张涛、田兴业、周益康、吴岳华、季顺平、闫赐林、王学博、陶欣、张元辉、万鹏飞
[代码]
2023年8月28日

自主无人机配送场景理解竞赛（SUADD'23）第二名解决方案
米科拉·拉夫列纽克、尼维迪塔·鲁弗斯、乌尼克里希南·R·奈尔
[代码]
2023年7月18日

CVPR 2023 自动驾驶挑战赛第三赛道（3D 占用预测）冠军解决方案
FB-OCC：基于前后视图变换的3D占用预测
李志奇、于志东、大卫·奥斯汀、方明生、兰世义、扬·考茨、何塞·M·阿尔瓦雷斯
[代码]
2023年6月26日

PVUW 挑战赛 2023：视频全景分割第三名解决方案
苏金明、杨旺旺、罗俊峰、魏晓林
2023年6月6日

CVPR 2023 野外视频场景解析挑战赛冠军解决方案
通过对比损失和多数据集训练方法对 VSPW 数据集进行语义分割
严敏、宁千雄、王倩
2023年6月3日

CVPR 2023 野外视频场景解析挑战赛第二名
基于多模型集成的可回收半监督方法用于视频场景解析
吴彪、刘绍丽、张殿凯、郑成健、高思、张晓峰、王宁
2023年6月2日

WSDM2023 Toloka VQA 挑战赛冠军解决方案
高圣毅、陈哲、陈国、王文海、陆通
[代码]
2023年1月9日

UVO 挑战赛 2022 第一名解决方案
张佳俊、陈博宇、姬志龙、白金峰、胡宗海
2022年10月9日

引用

如果本工作对您的研究有所帮助，请考虑引用以下 BibTeX 条目。

@article{chen2022vitadapter,
  title={密集预测任务中的视觉Transformer适配器},
  author={陈哲、段雨晨、王文海、何俊俊、陆通、戴继峰、乔宇},
  journal={arXiv 预印本 arXiv:2205.08534},
  year={2022}
}

许可证

本仓库根据 LICENSE 文件中的 Apache 2.0 许可协议发布。

ViT-Adapter 快速上手指南

ViT-Adapter 是一个用于密集预测任务（如目标检测、实例分割、语义分割等）的 Vision Transformer (ViT) 适配器。它能让普通的 ViT backbone 在无需额外预训练的情况下，通过引入图像相关的归纳偏置，达到与专用视觉 Transformer 相媲美的性能。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04+)
• Python: 3.7 或更高版本
• GPU: 支持 CUDA 的 NVIDIA GPU (建议显存 16GB+ 以运行大模型)
• CUDA: 11.0 或更高版本
• PyTorch: 1.8.0 或更高版本
• MMCV: 1.5.0 或更高版本 (ViT-Adapter 基于 MMDetection 和 MMSegmentation 构建)

前置依赖安装建议： 推荐使用 conda 创建独立环境。国内用户可使用清华源加速包下载。

# 创建虚拟环境
conda create -n vit-adapter python=3.8 -y
conda activate vit-adapter

# 安装 PyTorch (根据实际 CUDA 版本调整，此处以 CUDA 11.3 为例，使用清华源)
pip install torch==1.12.0+cu113 torchvision==0.13.0+cu113 -f https://download.pytorch.org/whl/torch_stable.html

# 安装 MMCV (MMDetection/MMSegmentation 的基础库)
# 注意：需根据 torch 和 cuda 版本选择对应的 mmcv 版本
pip install mmcv-full==1.7.0 -f https://download.openmmlab.com/mmcv/dist/cu113/torch1.12/index.html

安装步骤

ViT-Adapter 代码库依赖于 MMDetection 和 MMSegmentation。请按顺序执行以下命令进行安装。

1. 克隆代码库

git clone https://github.com/czczup/ViT-Adapter.git
cd ViT-Adapter

2. 安装 MMDetection 和 MMSegmentation

本项目通常包含特定的 MM 版本子模块或要求。建议先初始化子模块（如果存在），然后安装依赖。

# 初始化和更新子模块 (如果项目包含 mmdet/mmseg 源码)
git submodule update --init --recursive

# 安装 MMDetection (如果未自动安装)
# 假设子模块路径为 mmdetection，具体视仓库结构而定，若独立安装请参考官方文档
# 此处以直接安装当前仓库依赖为主
pip install -r requirements.txt

# 以可编辑模式安装 ViT-Adapter 及其集成的 MMDet/MMSeg 组件
pip install -v -e .

注意：如果遇到编译错误，请确保已安装 ninja 和 gcc。

apt-get install ninja-build gcc g++

3. 下载预训练模型

您需要下载对应的 ViT 预训练权重（如 BEiT, DINOv2 等）以及 ViT-Adapter 的微调权重。 请访问 Model Zoo (原 README 中的链接) 下载模型，并放置在 pretrain/ 或 work_dirs/ 目录下，具体路径需在配置文件中指定。

基本使用

ViT-Adapter 的使用流程与标准的 MMDetection/MMSegmentation 一致。以下分别展示语义分割和目标检测的最简推理示例。

1. 语义分割 (Semantic Segmentation)

假设您已下载好配置文件和权重文件。

单张图片推理：

python demo/image_demo.py \
    demo/demo.jpg \
    configs/segmentation/vit_adapter/upernet_vit_adapter_l_ade20k.py \
    checkpoints/vit_adapter_l_ade20k.pth \
    --device cuda:0 \
    --out-file result.jpg

评估模型 (在验证集上)：

python tools/test.py \
    configs/segmentation/vit_adapter/upernet_vit_adapter_l_ade20k.py \
    checkpoints/vit_adapter_l_ade20k.pth \
    --eval mIoU \
    --gpu-collect

2. 目标检测 (Object Detection)

单张图片推理：

python demo/image_demo.py \
    demo/demo.jpg \
    configs/detection/vit_adapter/faster_rcnn_vit_adapter_l_coco.py \
    checkpoints/vit_adapter_l_coco.pth \
    --device cuda:0 \
    --score-thr 0.3 \
    --out-file result_det.jpg

评估模型：

python tools/test.py \
    configs/detection/vit_adapter/faster_rcnn_vit_adapter_l_coco.py \
    checkpoints/vit_adapter_l_coco.pth \
    --eval bbox segm \
    --gpu-collect

3. 使用 Colab 快速体验

如果您没有本地 GPU 环境，可以直接使用官方提供的 Colab Notebook 进行快速尝试：

• 分割任务: Segmentation Colab Notebook
• 检测任务: Detection Colab Notebook

---

更多高级用法（如训练自定义数据集、混合精度训练等）请参考原仓库的 docs/ 目录及具体配置文件注释。