Swin Transformer

本仓库是论文《Swin Transformer：基于移位窗口的层次化视觉Transformer》及其后续工作的官方实现。目前包含以下任务的代码和模型：

图像分类：已包含在本仓库中。请参阅 get_started.md 以快速入门。

目标检测与实例分割：请参阅 Swin Transformer 目标检测。

语义分割：请参阅 Swin Transformer 语义分割。

视频动作识别：请参阅 Video Swin Transformer。

半监督目标检测：请参阅 Soft Teacher。

自监督学习：对比学习：请参阅 Transformer-SSL。

自监督学习：掩码图像建模：请参阅 get_started.md#simmim-support。

专家混合模型：更多说明请参阅 get_started。

特征蒸馏：请参阅 Feature-Distillation。

更新

2022年12月29日

1. Nvidia 的 FasterTransformer 现已支持 Swin Transformer V2 推理，在 T4 和 A100 GPU 上有显著的速度提升。

2022年11月30日

1. 特征蒸馏 的模型和代码已发布。详情请参阅 Feature-Distillation，其中包含检查点（FD-EsViT-Swin-B、FD-DeiT-ViT-B、FD-DINO-ViT-B、FD-CLIP-ViT-B、FD-CLIP-ViT-L）。

2022年9月24日

1. 合并了 SimMIM，这是一种基于 掩码图像建模 的预训练方法，适用于 Swin 和 SwinV2（同时也适用于 ViT 和 ResNet）。请参考 SimMIM 使用指南 来体验 SimMIM 预训练。

2. 发布了一系列使用 SimMIM 方法预训练的 Swin 和 SwinV2 模型（详见 MODELHUB 中的 SimMIM），模型规模从 SwinV2-Small-50M 到 SwinV2-giant-1B，数据集大小从 ImageNet-1K-10% 到 ImageNet-22K，迭代次数从 12.5 万到 50 万。您可以利用这些模型来研究 MIM 方法的特性。更多细节请参阅关于 数据缩放 的论文：arxiv.org/abs/2206.04664。

2022年7月9日

新闻：

1. SwinV2-G 在 ADE20K 语义分割任务上达到 61.4 mIoU（比之前的 SwinV2-G 模型高出 1.5 mIoU），采用了额外的 特征蒸馏 (FD) 方法，刷新了该基准的记录。FD 是一种可以普遍提升多种预训练模型微调性能的方法，包括 DeiT、DINO 和 CLIP 等。尤其值得一提的是，它将 CLIP 预训练的 ViT-L 模型在 ImageNet-1K 图像分类上的准确率提升了 1.6%，达到 89.0%，成为 目前最精确的 ViT-L 模型。
2. 合并了来自 Nvidia 的一个 PR，该 PR 提供了更快的 Swin Transformer 推理支持，在 T4 和 A100 GPU 上有显著的速度提升。
3. 合并了来自 Nvidia 的另一个 PR，新增了一个选项，允许在训练中使用 纯 FP16 (Apex O2)，同时几乎保持精度不变。

2022年6月3日

1. 新增了 Swin-MoE，这是使用 Tutel 实现的 Swin Transformer 混合专家变体（Tutel 是一个优化的混合专家实现）。Swin-MoE 被介绍在 TuTel 论文中。

2022年5月12日

1. 发布了 Swin Transformer V2 在 ImageNet-1K 和 ImageNet-22K 上的预训练模型。
2. 发布了 Swin-V1-Tiny 和 Swin-V2-Small 的 ImageNet-22K 预训练模型。

2022年3月2日

1. Swin Transformer V2 和 SimMIM 已被 CVPR 2022 接收。SimMIM 是一种基于掩码图像建模的自监督预训练方法，是突破 30 亿参数 Swin V2 模型的关键技术，其使用的标注数据量仅为基于 JFT-3B 的先前十亿级模型的 40 分之一。

2022年2月9日

1. 集成了 Huggingface Spaces 🤗 并使用 Gradio 运行。您可以在 Web Demo 中试用：

2021年10月12日

1. Swin Transformer 获得了 ICCV 2021 最佳论文奖（Marr 奖）。

2021年8月9日

1. Soft Teacher 将在 ICCV2021 上发表。代码将在 GitHub 仓库 中发布。Soft Teacher 是一种端到端的半监督目标检测方法，在 COCO test-dev 上创造了新的记录：61.3 box AP 和 53.0 mask AP。

2021年7月3日

1. 新增了 Swin MLP，它是通过将所有多头自注意力 (MHSA) 层替换为 MLP 层对 Swin Transformer 的改进版本（更准确地说是分组线性层）。移位窗口结构也能显著提升普通 MLP 架构的性能。

2021年6月25日

1. Video Swin Transformer 已发布于 Video-Swin-Transformer。Video Swin Transformer 在一系列视频识别基准测试中达到了最先进的准确率，包括动作识别（在 Kinetics-400 上达到 84.9 的 top-1 准确率，在 Kinetics-600 上达到 86.1 的 top-1 准确率，且预训练数据量减少了约 20 倍，模型尺寸也缩小了约 3 倍）以及时序建模（在 Something-Something v2 上达到 69.6 的 top-1 准确率）。

2021年5月12日

1. 作为 自监督学习 的骨干网络：Transformer-SSL。

使用 Swin-Transformer 作为自监督学习的骨干网络，可以评估所学表征在下游任务中的迁移性能，而这一点在以往使用 ViT/DeiT 的工作中往往缺失，因为这些模型尚未针对下游任务进行充分优化。

2021年4月12日

初始提交：

1. 提供了 ImageNet-1K（Swin-T-IN1K、Swin-S-IN1K、Swin-B-IN1K）和 ImageNet-22K（Swin-B-IN22K、Swin-L-IN22K）的预训练模型。
2. 提供了支持 ImageNet-1K 图像分类、COCO 目标检测和 ADE20K 语义分割的代码和模型。
3. 在分支 LR-Net 中提供了用于 局部关系层 的 CUDA 内核实现。

简介

Swin Transformer（名称 Swin 代表 Shifted window）最初在 arxiv 中被描述，它能够作为计算机视觉领域的通用骨干网络。它本质上是一种层次化的 Transformer，其表征通过移位窗口计算得出。移位窗口机制通过将自注意力计算限制在不重叠的局部窗口内，同时允许跨窗口连接，从而提高了效率。

Swin Transformer 在 COCO 目标检测任务上表现出色（test-dev 上达到 58.7 box AP 和 51.1 mask AP），在 ADE20K 语义分割任务上也取得了优异的成绩（val 上达到 53.5 mIoU），大幅超越了此前的模型。

预训练模型在 ImageNet 上的主要结果

ImageNet-1K 和 ImageNet-22K 预训练的 Swin-V1 模型

名称	预训练数据集	分辨率	精度@1	精度@5	参数量	FLOPs	FPS	22K 模型	1K 模型
Swin-T	ImageNet-1K	224x224	81.2	95.5	28M	4.5G	755	-	github/baidu/config/log
Swin-S	ImageNet-1K	224x224	83.2	96.2	50M	8.7G	437	-	github/baidu/config/log
Swin-B	ImageNet-1K	224x224	83.5	96.5	88M	15.4G	278	-	github/baidu/config/log
Swin-B	ImageNet-1K	384x384	84.5	97.0	88M	47.1G	85	-	github/baidu/config
Swin-T	ImageNet-22K	224x224	80.9	96.0	28M	4.5G	755	github/baidu/config	github/baidu/config
Swin-S	ImageNet-22K	224x224	83.2	97.0	50M	8.7G	437	github/baidu/config	github/baidu/config
Swin-B	ImageNet-22K	224x224	85.2	97.5	88M	15.4G	278	github/baidu/config	github/baidu/config
Swin-B	ImageNet-22K	384x384	86.4	98.0	88M	47.1G	85	github/baidu	github/baidu/config
Swin-L	ImageNet-22K	224x224	86.3	97.9	197M	34.5G	141	github/baidu/config	github/baidu/config
Swin-L	ImageNet-22K	384x384	87.3	98.2	197M	103.9G	42	github/baidu	github/baidu/config

ImageNet-1K 和 ImageNet-22K 预训练的 Swin-V2 模型

名称	预训练	分辨率	窗口大小	top-1准确率	top-5准确率	参数量	FLOPs	FPS	22K模型	1K模型
SwinV2-T	ImageNet-1K	256x256	8x8	81.8	95.9	28M	5.9G	572	-	github/baidu/config
SwinV2-S	ImageNet-1K	256x256	8x8	83.7	96.6	50M	11.5G	327	-	github/baidu/config
SwinV2-B	ImageNet-1K	256x256	8x8	84.2	96.9	88M	20.3G	217	-	github/baidu/config
SwinV2-T	ImageNet-1K	256x256	16x16	82.8	96.2	28M	6.6G	437	-	github/baidu/config
SwinV2-S	ImageNet-1K	256x256	16x16	84.1	96.8	50M	12.6G	257	-	github/baidu/config
SwinV2-B	ImageNet-1K	256x256	16x16	84.6	97.0	88M	21.8G	174	-	github/baidu/config
SwinV2-B*	ImageNet-22K	256x256	16x16	86.2	97.9	88M	21.8G	174	github/baidu/config	github/baidu/config
SwinV2-B*	ImageNet-22K	384x384	24x24	87.1	98.2	88M	54.7G	57	github/baidu/config	github/baidu/config
SwinV2-L*	ImageNet-22K	256x256	16x16	86.9	98.0	197M	47.5G	95	github/baidu/config	github/baidu/config
SwinV2-L*	ImageNet-22K	384x384	24x24	87.6	98.3	197M	115.4G	33	github/baidu/config	github/baidu/config

注意：

• SwinV2-B^*（SwinV2-L^*)在输入分辨率为256x256和384x384时，均是从使用较小输入分辨率192x192的同一预训练模型微调而来。
• SwinV2-B^*（384x384）在ImageNet-1K-V2上的top-1准确率为78.08，而SwinV2-L^*（384x384）则达到78.31。

ImageNet-1K预训练的Swin MLP模型

名称	预训练数据集	分辨率	top-1准确率	top-5准确率	参数量	FLOPs	FPS	1K模型
Mixer-B/16	ImageNet-1K	224x224	76.4	-	59M	12.7G	-	官方仓库
ResMLP-S24	ImageNet-1K	224x224	79.4	-	30M	6.0G	715	timm
ResMLP-B24	ImageNet-1K	224x224	81.0	-	116M	23.0G	231	timm
Swin-T/C24	ImageNet-1K	256x256	81.6	95.7	28M	5.9G	563	github/baidu/配置文件
SwinMLP-T/C24	ImageNet-1K	256x256	79.4	94.6	20M	4.0G	807	github/baidu/配置文件
SwinMLP-T/C12	ImageNet-1K	256x256	79.6	94.7	21M	4.0G	792	github/baidu/配置文件
SwinMLP-T/C6	ImageNet-1K	256x256	79.7	94.9	23M	4.0G	766	github/baidu/配置文件
SwinMLP-B	ImageNet-1K	224x224	81.3	95.3	61M	10.4G	409	github/baidu/配置文件

注：baidu的提取码为swin。C24表示每个头有24个通道。

ImageNet-22K预训练的Swin-MoE模型

• 请参阅入门指南，了解如何运行Swin-MoE。
• Swin-MoE的预训练模型可在模型中心中找到。

下游任务的主要结果

COCO目标检测（2017验证集）

主干网络	方法	预训练数据集	学习率调度	box mAP	mask mAP	参数量	FLOPs
Swin-T	Mask R-CNN	ImageNet-1K	3倍	46.0	41.6	48M	267G
Swin-S	Mask R-CNN	ImageNet-1K	3倍	48.5	43.3	69M	359G
Swin-T	级联Mask R-CNN	ImageNet-1K	3倍	50.4	43.7	86M	745G
Swin-S	级联Mask R-CNN	ImageNet-1K	3倍	51.9	45.0	107M	838G
Swin-B	级联Mask R-CNN	ImageNet-1K	3倍	51.9	45.0	145M	982G
Swin-T	RepPoints V2	ImageNet-1K	3倍	50.0	-	45M	283G
Swin-T	Mask RepPoints V2	ImageNet-1K	3倍	50.3	43.6	47M	292G
Swin-B	HTC++	ImageNet-22K	6倍	56.4	49.1	160M	1043G
Swin-L	HTC++	ImageNet-22K	3倍	57.1	49.5	284M	1470G
Swin-L	HTC++*	ImageNet-22K	3倍	58.0	50.4	284M	-

注：^*表示多尺度测试。

ADE20K语义分割（验证集）

主干网络	方法	预训练数据集	裁剪尺寸	学习率调度	mIoU	mIoU (ms+flip)	参数量	FLOPs
Swin-T	UPerNet	ImageNet-1K	512x512	16万步	44.51	45.81	60M	945G
Swin-S	UperNet	ImageNet-1K	512x512	16万步	47.64	49.47	81M	1038G
Swin-B	UperNet	ImageNet-1K	512x512	16万步	48.13	49.72	121M	1188G
Swin-B	UperNet	ImageNet-22K	640x640	16万步	50.04	51.66	121M	1841G
Swin-L	UperNet	ImageNet-22K	640x640	16万步	52.05	53.53	234M	3230G

引用Swin Transformer

@inproceedings{liu2021Swin,
  title={Swin Transformer: 基于移位窗口的层次化视觉Transformer},
  author={Liu, Ze and Lin, Yutong and Cao, Yue and Hu, Han and Wei, Yixuan and Zhang, Zheng and Lin, Stephen and Guo, Baining},
  booktitle={IEEE/CVF国际计算机视觉会议（ICCV）论文集},
  year={2021}
}

引用局部关系网络（首个全注意力视觉主干网络）

@inproceedings{hu2019local,
  title={用于图像识别的局部关系网络},
  author={Hu, Han and Zhang, Zheng and Xie, Zhenda and Lin, Stephen},
  booktitle={IEEE/CVF国际计算机视觉会议（ICCV）论文集},
  pages={3464--3473},
  year={2019}
}

引用Swin Transformer V2

@inproceedings{liu2021swinv2,
  title={Swin Transformer V2：扩展容量与分辨率},
  author={Ze Liu and Han Hu and Yutong Lin and Zhuliang Yao and Zhenda Xie and Yixuan Wei and Jia Ning and Yue Cao and Zheng Zhang and Li Dong and Furu Wei and Baining Guo},
  booktitle={国际计算机视觉与模式识别会议（CVPR）},
  year={2022}
}

引用SimMIM（一种使SwinV2-G成为可能的自监督方法）

@inproceedings{xie2021simmim,
  title={SimMIM：一个简单的掩码图像建模框架},
  author={Xie, Zhenda and Zhang, Zheng and Cao, Yue and Lin, Yutong and Bao, Jianmin and Yao, Zhuliang and Dai, Qi and Hu, Han},
  booktitle={国际计算机视觉与模式识别会议（CVPR）},
  year={2022}
}

引用SimMIM-数据规模扩展

@article{xie2022data,
  title={关于掩码图像建模中的数据规模扩展},
  author={Xie, Zhenda and Zhang, Zheng and Cao, Yue and Lin, Yutong and Wei, Yixuan and Dai, Qi and Hu, Han},
  journal={arXiv预印本 arXiv:2206.04664},
  year={2022}
}

引用Swin-MoE

@misc{hwang2022tutel,
      title={Tutel：大规模自适应专家混合系统},
      author={Changho Hwang and Wei Cui and Yifan Xiong and Ziyue Yang and Ze Liu and Han Hu and Zilong Wang and Rafael Salas and Jithin Jose and Prabhat Ram and Joe Chau and Peng Cheng and Fan Yang and Mao Yang and Yongqiang Xiong},
      year={2022},
      eprint={2206.03382},
      archivePrefix={arXiv}
}

入门

• 对于图像分类，请参阅get_started.md以获取详细说明。
• 对于目标检测和实例分割，请参阅Swin Transformer用于目标检测。
• 对于语义分割，请参阅Swin Transformer用于语义分割。
• 对于自监督学习，请参阅Transformer-SSL。
• 对于视频识别，请参阅Video Swin Transformer。

第三方使用与实验

在这一段中，我们交叉链接了使用Swin并报告结果的第三方仓库。您可以通过提交issue告知我们

（请注意，在您的新仓库中报告准确率数值并提供训练好的模型，以便他人能够了解其正确性和模型行为）

[2022年12月29日] FasterTransformer中实现了Swin Transformers (V2)推理：FasterTransformer

[2022年6月30日] FasterTransformer中实现了Swin Transformers (V1)推理：FasterTransformer

[2022年5月12日] 在TensorFlow中实现了Swin Transformers (V1)，并移植了预训练参数。实现、TensorFlow权重及代码示例可在此仓库中找到。

[2022年4月6日] 用于音频分类的Swin Transformer：分层标记语义音频Transformer。

[2021年12月21日] 用于StyleGAN的Swin Transformer：StyleSwin

[2021年12月13日] 用于人脸识别的Swin Transformer：FaceX-Zoo

[2021年8月29日] 用于图像修复的Swin Transformer：SwinIR

[2021年8月12日] 用于行人重识别的Swin Transformer：https://github.com/layumi/Person_reID_baseline_pytorch

[2021年6月29日] PaddleClas中使用了Swin-Transformer，并基于whl包进行推理：https://github.com/PaddlePaddle/PaddleClas

[2021年4月14日] 在Detectron中将Swin用于RetinaNet：https://github.com/xiaohu2015/SwinT_detectron2。

[2021年4月16日] 被纳入著名的模型库：https://github.com/rwightman/pytorch-image-models。

[2021年4月20日] 使用TorchServe进行Swin-Transformer分类器推理：https://github.com/kamalkraj/Swin-Transformer-Serve

贡献

本项目欢迎贡献和建议。大多数贡献都需要您同意贡献者许可协议（CLA），声明您有权且确实授予我们使用您贡献的权利。有关详情，请访问https://cla.opensource.microsoft.com。

当您提交拉取请求时，CLA机器人会自动确定您是否需要提供CLA，并相应地为PR添加标记（例如状态检查、评论）。只需按照机器人提供的指示操作即可。对于所有使用我们CLA的仓库，您只需执行一次此操作。

本项目已采用微软开源行为准则。更多信息请参阅行为准则常见问题解答，或如有任何其他问题或意见，请联系opencode@microsoft.com。

商标

本项目可能包含项目、产品或服务的商标或徽标。对微软商标或徽标的授权使用须遵守并遵循微软商标与品牌指南。在本项目的修改版本中使用微软商标或徽标不得造成混淆或暗示微软的赞助。任何第三方商标或徽标的使用均受该第三方政策的约束。

Swin Transformer 快速上手指南

Swin Transformer 是一种基于移位窗口（Shifted Window）机制的层级式视觉 Transformer，可作为计算机视觉任务的通用骨干网络。本指南将帮助您快速完成环境配置、安装及基础图像分类任务的使用。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04+) 或 Windows (需配置 WSL2 或兼容环境)
• Python: 3.7 及以上版本
• PyTorch: 1.7 及以上版本 (建议 1.8+)
• CUDA: 支持 CUDA 的 NVIDIA GPU (用于加速训练和推理)
• 其他依赖: torchvision, timm, opencv-python, scipy, yacs

国内加速建议： 建议使用清华源或阿里源安装 Python 依赖，以提升下载速度。

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装步骤

2.1 克隆代码库

首先从 GitHub 克隆官方仓库：

git clone https://github.com/microsoft/Swin-Transformer.git
cd Swin-Transformer

2.2 安装依赖

安装项目所需的 Python 包：

pip install timm==0.4.12 opencv-python==4.5.3.56 scipy==1.7.0 yacs==0.1.8

注：若需使用特定版本的 PyTorch，请参考 PyTorch 官网 进行安装。

2.3 编译 CUDA 扩展 (可选但推荐)

为了获得最佳的训练和推理速度，建议编译本地的 CUDA 算子（如 Shifted Window Attention）：

python setup.py build_ext --inplace

如果您的环境没有可用的 GPU 或 CUDA 工具链，可以跳过此步，模型将使用纯 PyTorch 实现运行，但速度会稍慢。

3. 基本使用

以下示例展示如何加载预训练模型并进行单张图像的推理（图像分类任务）。

3.1 下载预训练模型

您可以从官方 Release 页面或国内镜像下载预训练权重。以 Swin-Tiny (ImageNet-1K 预训练) 为例：

• GitHub 下载: swin_tiny_patch4_window7_224.pth
• 百度网盘下载: 链接 (提取码见原仓库文档)

将下载的文件保存为 swin_tiny_patch4_window7_224.pth 并放在项目根目录。

3.2 运行推理示例

创建一个名为 demo_inference.py 的文件，写入以下代码：

import torch
from torchvision import transforms, datasets
from models import build_model
from config import get_config
import cv2
import numpy as np

def load_image(image_path):
    img = cv2.imread(image_path)
    img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
    return img

def main():
    # 1. 配置加载
    config = get_config()
    # 手动指定配置文件路径 (对应 Swin-Tiny 224x224)
    config.defrost()
    config.MODEL.TYPE = "swin"
    config.MODEL.NAME = "swin_tiny_patch4_window7_224"
    config.MODEL.SWIN.PATCH_SIZE = 4
    config.MODEL.SWIN.WINDOW_SIZE = 7
    config.MODEL.SWIN.DEPTHS = [2, 2, 6, 2]
    config.MODEL.SWIN.NUM_HEADS = [3, 6, 12, 24]
    config.DATA.IMG_SIZE = 224
    config.freeze()

    # 2. 构建模型
    model = build_model(config)
    
    # 3. 加载预训练权重
    checkpoint = torch.load('swin_tiny_patch4_window7_224.pth', map_location='cpu')
    model.load_state_dict(checkpoint['model'], strict=True)
    model.eval()
    
    # 移至 GPU (如果可用)
    if torch.cuda.is_available():
        model = model.cuda()

    # 4. 数据预处理
    transform = transforms.Compose([
        transforms.ToTensor(),
        transforms.Resize((224, 224)),
        transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),
    ])

    # 5. 推理
    # 请替换为您本地的图片路径
    image_path = "your_image.jpg" 
    if not os.path.exists(image_path):
        print(f"未找到图片 {image_path}, 请创建测试图片或修改路径。")
        return

    img = load_image(image_path)
    img_tensor = transform(img).unsqueeze(0)
    
    if torch.cuda.is_available():
        img_tensor = img_tensor.cuda()

    with torch.no_grad():
        output = model(img_tensor)
        prediction = torch.softmax(output, dim=1)
        confidence, predicted_class = torch.max(prediction, 1)

    print(f"预测类别索引：{predicted_class.item()}")
    print(f"置信度：{confidence.item():.4f}")

if __name__ == '__main__':
    import os
    main()

3.3 执行命令

在终端运行上述脚本：

python demo_inference.py

---

后续任务指引：

• 目标检测/实例分割: 请跳转至 Swin-Transformer-Object-Detection 仓库。
• 语义分割: 请跳转至 Swin-Transformer-Semantic-Segmentation 仓库。
• 视频动作识别: 请跳转至 Video-Swin-Transformer 仓库。