简介

这是对论文《CvT：将卷积引入视觉Transformer》（https://arxiv.org/abs/2103.15808）的官方实现。我们提出了一种名为卷积视觉Transformer（CvT）的新架构，通过在Vision Transformer中引入卷积操作，结合了卷积神经网络和Transformer的优点，从而在性能和效率上均优于传统的Vision Transformer。这一改进主要体现在两个方面：一是设计了一种包含新型卷积标记嵌入的Transformer层级结构；二是提出了利用卷积投影的卷积Transformer模块。这些改动不仅为Vision Transformer架构引入了卷积神经网络的优良特性（如平移、尺度和形变不变性），同时保留了Transformer的优势（如动态注意力机制、全局上下文建模能力以及更强的泛化能力）。我们通过大量实验验证了CvT的有效性，结果表明，在ImageNet-1k数据集上，该方法以更少的参数量和更低的浮点运算次数，取得了超越其他Vision Transformer和ResNet的最先进性能。此外，当模型在更大规模的数据集（如ImageNet-22k）上进行预训练，并进一步微调到下游任务时，性能提升依然显著。在ImageNet-22k上预训练的CvT-W24模型，在ImageNet-1k验证集上的Top-1准确率达到了87.7%。最后，我们的实验还表明，现有Vision Transformer中的位置编码这一关键组件可以在我们的模型中被安全地移除，从而简化了高分辨率视觉任务的设计。

主要结果

在ImageNet-1k上预训练的模型

模型	分辨率	参数量	GFLOPs	Top-1
CvT-13	224x224	20M	4.5	81.6
CvT-21	224x224	32M	7.1	82.5
CvT-13	384x384	20M	16.3	83.0
CvT-21	384x384	32M	24.9	83.3

在ImageNet-22k上预训练的模型

模型	分辨率	参数量	GFLOPs	Top-1
CvT-13	384x384	20M	16.3	83.3
CvT-21	384x384	32M	24.9	84.9
CvT-W24	384x384	277M	193.2	87.6

您可以通过我们的模型库下载所有模型。

快速入门

安装

假设您已经安装了PyTorch和TorchVision，如果没有，请先按照官方指南进行安装。然后使用以下命令安装依赖：

python -m pip install -r requirements.txt --user -q

代码是在PyTorch 1.7.1版本下开发并测试的，其他版本的PyTorch尚未经过全面测试。

数据准备

请按照以下目录结构准备数据：

|-DATASET
  |-imagenet
    |-train
    | |-class1
    | | |-img1.jpg
    | | |-img2.jpg
    | | |-...
    | |-class2
    | | |-img3.jpg
    | | |-...
    | |-class3
    | | |-img4.jpg
    | | |-...
    | |-...
    |-val
      |-class1
      | |-img5.jpg
      | |-...
      |-class2
      | |-img6.jpg
      | |-...
      |-class3
      | |-img7.jpg
      | |-...
      |-...

运行

每个实验由一个yaml配置文件定义，这些配置文件保存在experiments目录下。experiments目录的结构如下所示：

experiments
|-{DATASET_A}
| |-{ARCH_A}
| |-{ARCH_B}
|-{DATASET_B}
| |-{ARCH_A}
| |-{ARCH_B}
|-{DATASET_C}
| |-{ARCH_A}
| |-{ARCH_B}
|-...

我们提供了一个run.sh脚本用于在本地机器上运行任务。

用法: run.sh [运行选项]
选项:
  -g|--gpus <1> - 使用的GPU数量
  -t|--job-type <aml> - 任务类型（train|test）
  -p|--port <9000> - 主节点端口
  -i|--install-deps - 是否安装依赖（默认：否）

在本地机器上训练

bash run.sh -g 8 -t train --cfg experiments/imagenet/cvt/cvt-13-224x224.yaml

您还可以通过命令行修改配置参数。例如，如果想将学习率调整为0.1，可以运行以下命令：

bash run.sh -g 8 -t train --cfg experiments/imagenet/cvt/cvt-13-224x224.yaml TRAIN.LR 0.1

注意：

• 检查点、模型和日志文件默认会保存在OUTPUT/{dataset}/{training config}目录下。

测试预训练模型

bash run.sh -t test --cfg experiments/imagenet/cvt/cvt-13-224x224.yaml TEST.MODEL_FILE ${PRETRAINED_MODLE_FILE}

引用

如果您在研究中使用了本工作或代码，请引用以下文献：

@article{wu2021cvt,
  title={Cvt: Introducing convolutions to vision transformers},
  author={Wu, Haiping and Xiao, Bin and Codella, Noel and Liu, Mengchen and Dai, Xiyang and Yuan, Lu and Zhang, Lei},
  journal={arXiv preprint arXiv:2103.15808},
  year={2021}
}

贡献

本项目欢迎各位的贡献与建议。大多数贡献都需要您同意一份贡献者许可协议（CLA），声明您有权并将您的贡献权利授予我们。有关详细信息，请访问https://cla.opensource.microsoft.com。

当您提交拉取请求时，CLA机器人会自动判断您是否需要签署CLA，并相应地标记PR（例如状态检查、评论）。只需按照机器人提供的指示操作即可。对于使用我们CLA的所有仓库，您只需完成一次此流程。

本项目已采纳微软开源行为准则。更多信息请参阅行为准则常见问题解答或联系opencode@microsoft.com以获取更多问题或意见。

商标

本项目可能包含项目、产品或服务的商标或徽标。未经授权使用微软商标或徽标需遵守并遵循微软商标与品牌指南。在本项目的修改版本中使用微软商标或徽标时，不得造成混淆或暗示微软的赞助关系。任何第三方商标或徽标的使用均应遵守其各自的政策。

CvT 快速上手指南

环境准备

系统要求

• 操作系统：Linux 或 macOS（Windows 也可使用，但建议使用 Linux 环境）
• Python 版本：3.6 或以上
• PyTorch 版本：1.7.1（其他版本可能不兼容）

前置依赖

• PyTorch 和 TorchVision（可通过官方渠道安装）
• 其他依赖项通过 requirements.txt 安装

安装步骤

确保已安装 PyTorch 和 TorchVision，若未安装，请参考 PyTorch 官方安装指南。

安装依赖项：

python -m pip install -r requirements.txt --user -q

推荐使用国内镜像源加速安装，例如：

python -m pip install -r requirements.txt --user -q -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

训练模型

在本地机器上训练模型的示例命令如下：

bash run.sh -g 8 -t train --cfg experiments/imagenet/cvt/cvt-13-224x224.yaml

你可以通过命令行修改配置参数，例如调整学习率：

bash run.sh -g 8 -t train --cfg experiments/imagenet/cvt/cvt-13-224x224.yaml TRAIN.LR 0.1

测试预训练模型

测试预训练模型的示例命令如下：

bash run.sh -t test --cfg experiments/imagenet/cvt/cvt-13-224x224.yaml TEST.MODEL_FILE ${PRETRAINED_MODLE_FILE}

请将 ${PRETRAINED_MODLE_FILE} 替换为实际的预训练模型文件路径。