焦点Transformer [NeurIPS 2021 Spotlight]

这是我们论文 Focal Transformer -- “用于视觉Transformer中局部-全局交互的焦点自注意力” 的官方实现，作者包括杨建伟、李春元、张鹏川、戴西阳、肖斌、袁璐和高剑锋。

引言

我们的 Focal Transformer 引入了一种新的自注意力机制，称为 焦点自注意力，专为视觉Transformer设计。在这一新机制中，每个token会在细粒度上关注其最近的邻近token，而在粗粒度上关注远处的token，从而能够高效且有效地捕捉短程和长程的视觉依赖关系。

借助我们的 Focal Transformer，在一系列公开基准测试中，我们取得了优于当前最先进视觉Transformer的性能。特别是，我们的 Focal Transformer 模型分别以中等规模51.1M参数和较大规模89.8M参数，在224x224分辨率的ImageNet分类任务上获得了 83.6 和 84.0 的Top-1准确率。使用Focal Transformer作为骨干网络，我们在采用标准1x和3x训练计划的6种不同目标检测方法中，均实现了对现有最先进方法的一致且显著提升。我们最大的Focal Transformer在COCO mini-val/test-dev数据集上的边界框mAP分别为 58.7/58.9，掩码mAP分别为 50.9/51.3；在ADE20K语义分割任务上则达到了 55.4 mIoU。

:film_strip: The AI Epiphany 制作的视频

下一代架构

我们已经开发了基于焦点机制的下一代架构 FocalNet，它速度更快、效果更好。请访问：https://github.com/microsoft/FocalNet！

更快的Focal Transformer

正如你可能注意到的那样，尽管我们Focal Transformer的理论GFLOPs与先前的工作相当，但其实际运行效率却稍逊一筹。因此，我们发布了一个更快版本的Focal Transformer，该版本去除了我们第一版中使用的滚动和展开操作。

模型	预训练	使用卷积	分辨率	acc@1	acc@5	参数量	FLOPs	吞吐量 (imgs/s)	检查点	配置
Focal-T	IN-1K	否	224	82.2	95.9	28.9M	4.9G	319	下载	yaml
Focal-fast-T	IN-1K	是	224	82.4	96.0	30.2M	5.0G	483	下载	yaml
Focal-S	IN-1K	否	224	83.6	96.2	51.1M	9.4G	192	下载	yaml
Focal-fast-S	IN-1K	是	224	83.6	96.4	51.5M	9.4G	293	下载	yaml
Focal-B	IN-1K	否	224	84.0	96.5	89.8M	16.4G	138	下载	yaml
Focal-fast-B	IN-1K	是	224	84.0	96.6	91.2M	16.4G	203	下载	yaml

基准测试

图像分类吞吐量与图像分辨率

模型	Top-1 Acc.	GLOPs (224x224)	224x224	448x448	896 x 896
DeiT-Small/16	79.8	4.6	939	101	20
PVT-Small	79.8	3.8	794	172	31
CvT-13	81.6	4.5	746	125	14
ViL-Small	82.0	5.1	397	87	17
Swin-Tiny	81.2	4.5	760	189	48
Focal-Tiny	82.2	4.9	319	105	27
PVT-Medium	81.2	6.7	517	111	20
CvT-21	82.5	7.1	480	85	10
ViL-Medium	83.3	9.1	251	53	8
Swin-Small	83.1	8.7	435	111	28
Focal-Small	83.6	9.4	192	63	17
ViT-Base/16	77.9	17.6	291	57	8
Deit-Base/16	81.8	17.6	291	57	8
PVT-Large	81.7	9.8	352	77	14
ViL-Base	83.2	13.4	145	35	5
Swin-Base	83.4	15.4	291	70	17
Focal-Base	84.0	16.4	138	44	11

ImageNet-1K 上的图像分类

模型	预训练	是否使用卷积	分辨率	top-1 精度	top-5 精度	参数量	FLOPs	检查点	配置文件
Focal-T	IN-1K	否	224	82.2	95.9	28.9M	4.9G	下载	yaml
Focal-T	IN-1K	是	224	82.7	96.1	30.8M	5.2G	下载	yaml
Focal-S	IN-1K	否	224	83.6	96.2	51.1M	9.4G	下载	yaml
Focal-S	IN-1K	是	224	83.8	96.5	53.1M	9.7G	下载	yaml
Focal-B	IN-1K	否	224	84.0	96.5	89.8M	16.4G	下载	yaml
Focal-B	IN-1K	是	224	84.2	97.1	93.3M	16.8G	下载	yaml

COCO 数据集上的目标检测与实例分割

Mask R-CNN

主干网络	预训练	学习率调度	参数量	FLOPs	box mAP	mask mAP
Focal-T	ImageNet-1K	1x	49M	291G	44.8	41.0
Focal-T	ImageNet-1K	3x	49M	291G	47.2	42.7
Focal-S	ImageNet-1K	1x	71M	401G	47.4	42.8
Focal-S	ImageNet-1K	3x	71M	401G	48.8	43.8
Focal-B	ImageNet-1K	1x	110M	533G	47.8	43.2
Focal-B	ImageNet-1K	3x	110M	533G	49.0	43.7

RetinaNet

主干网络	预训练	学习率调度	参数量	FLOPs	box mAP
Focal-T	ImageNet-1K	1x	39M	265G	43.7
Focal-T	ImageNet-1K	3x	39M	265G	45.5
Focal-S	ImageNet-1K	1x	62M	367G	45.6
Focal-S	ImageNet-1K	3x	62M	367G	47.3
Focal-B	ImageNet-1K	1x	101M	514G	46.3
Focal-B	ImageNet-1K	3x	101M	514G	46.9

其他检测方法

主干网络	预训练	方法	学习率调度	参数量	FLOPs	box mAP
Focal-T	ImageNet-1K	Cascade Mask R-CNN	3x	87M	770G	51.5
Focal-T	ImageNet-1K	ATSS	3x	37M	239G	49.5
Focal-T	ImageNet-1K	RepPointsV2	3x	45M	491G	51.2
Focal-T	ImageNet-1K	Sparse R-CNN	3x	111M	196G	49.0

ADE20K 数据集上的语义分割

主干网络	预训练	方法	分辨率	迭代次数	参数量	FLOPs	mIoU	mIoU (多尺度)
Focal-T	ImageNet-1K	UPerNet	512x512	16万	62M	998G	45.8	47.0
Focal-S	ImageNet-1K	UPerNet	512x512	16万	85M	1130G	48.0	50.0
Focal-B	ImageNet-1K	UPerNet	512x512	16万	126M	1354G	49.0	50.5
Focal-L	ImageNet-22K	UPerNet	640x640	16万	240M	3376G	54.0	55.4

使用指南

• 请按照 get_started_for_image_classification.md 的说明开始进行图像分类。
• 请按照 get_started_for_object_detection.md 的说明开始进行目标检测。
• 请按照 get_started_for_semantic_segmentation.md 的说明开始进行语义分割。

引用

如果您觉得本仓库对您的项目有帮助，请考虑使用以下 BibTeX 格式引用：

@misc{yang2021focal,
    title={Focal Self-attention for Local-Global Interactions in Vision Transformers}, 
    author={Jianwei Yang and Chunyuan Li and Pengchuan Zhang and Xiyang Dai and Bin Xiao and Lu Yuan and Jianfeng Gao},
    year={2021},
    eprint={2107.00641},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

致谢

我们的代码库基于 Swin-Transformer 构建。感谢原作者精心组织的代码！

贡献

本项目欢迎贡献和建议。大多数贡献都需要您同意贡献者许可协议（CLA），声明您有权并确实授予我们使用您贡献的权利。有关详细信息，请访问 https://cla.opensource.microsoft.com。

当您提交拉取请求时，CLA 机器人会自动判断您是否需要提供 CLA，并相应地标记 PR（例如状态检查、评论）。只需按照机器人提供的指示操作即可。对于使用我们 CLA 的所有仓库，您只需完成一次此流程。

本项目已采用 Microsoft 开源行为准则。更多信息请参阅 行为准则常见问题解答 或发送电子邮件至 opencode@microsoft.com 提出任何其他问题或意见。

商标

本项目可能包含项目、产品或服务的商标或徽标。未经授权使用 Microsoft 商标或徽标必须遵守并遵循 Microsoft 商标与品牌指南。在本项目的修改版本中使用 Microsoft 商标或徽标不得造成混淆或暗示 Microsoft 的赞助。任何第三方商标或徽标的使用均受其各自政策的约束。

Focal-Transformer 快速上手指南

Focal-Transformer 是微软研究院提出的一种视觉 Transformer 架构，引入了焦点自注意力机制（Focal Self-attention）。该机制使每个 token 能以细粒度关注邻近区域，以粗粒度关注远距离区域，从而高效捕捉局部与全局的视觉依赖关系。它在图像分类、目标检测和语义分割任务上均取得了优于 Swin Transformer 等主流模型的性能。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04+) 或 Windows (WSL2)
• Python: 3.7 或更高版本
• PyTorch: 1.7 或更高版本 (推荐 1.8+)
• CUDA: 建议 CUDA 10.2 或 11.x (用于 GPU 加速)
• 其他依赖: timm, yacs, opencv-python

提示：本项目代码基于 Swin-Transformer 构建，环境配置与其高度兼容。

安装步骤

1. 克隆仓库

首先从 GitHub 克隆官方代码库：

git clone https://github.com/microsoft/Focal-Transformer.git
cd Focal-Transformer

2. 创建虚拟环境 (推荐)

使用 conda 创建隔离环境并安装基础依赖：

conda create -n focal python=3.8 -y
conda activate focal

3. 安装 PyTorch 和 torchvision

请访问 PyTorch 官网 获取适合您 CUDA 版本的安装命令。以下为通用示例：

# 示例：安装 PyTorch 1.10 + CUDA 11.3
pip install torch==1.10.0+cu113 torchvision==0.11.0+cu113 torchaudio==0.10.0 -f https://download.pytorch.org/whl/cu113/torch_stable.html

国内加速：如果使用清华源加速安装：

pip install torch==1.10.0+cu113 torchvision==0.11.0+cu113 -f https://download.pytorch.org/whl/cu113/torch_stable.html -i https://pypi.tuna.tsinghua.edu.cn/simple

4. 安装项目依赖

进入对应的任务目录（以图像分类为例）并安装 requirements：

# 进入分类任务目录
cd classification

# 安装依赖
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

注：若进行目标检测或语义分割，请分别进入 detection 或 segmentation 目录执行上述操作，并确保安装了 mmcv 和 mmdetection/mmsegmentation 相关依赖。

基本使用

以下以 ImageNet 图像分类 为例，展示如何加载预训练模型并进行推理。

1. 下载预训练模型

从 README 提供的链接下载模型权重（例如 Focal-Tiny）：

# 创建存放权重的文件夹
mkdir pretrained_models

# 下载 Focal-Tiny 模型 (示例链接，实际请使用最新链接)
wget https://projects4jw.blob.core.windows.net/model/focal-transformer/imagenet1k/focal-tiny-is224-ws7.pth -P pretrained_models/

2. 准备测试图片

将待测试图片放入 data/imagenet/val 目录，或修改代码中的图片路径。

3. 运行推理脚本

使用提供的 main.py 进行单张图片推理或批量验证。以下是一个简单的推理命令示例（需根据实际脚本结构调整）：

# 运行分类验证 (示例命令，具体参数请参考 classification/get_started.md)
python main.py --config configs/focal_tiny_patch4_window7_224.yaml \
               --resume pretrained_models/focal-tiny-is224-ws7.pth \
               --eval

若只需对单张图片进行预测，可编写如下简易 Python 脚本：

import torch
from torchvision import transforms
from PIL import Image
from models import build_model # 需根据实际导入路径调整
from config import get_config

# 加载配置
config = get_config('configs/focal_tiny_patch4_window7_224.yaml')

# 构建模型
model = build_model(config)
checkpoint = torch.load('pretrained_models/focal-tiny-is224-ws7.pth', map_location='cpu')
model.load_state_dict(checkpoint['model'])
model.eval()

# 图像预处理
transform = transforms.Compose([
    transforms.Resize((224, 224)),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),
])

# 加载图片
img = Image.open('your_image.jpg').convert('RGB')
input_tensor = transform(img).unsqueeze(0)

# 推理
with torch.no_grad():
    output = model(input_tensor)
    prediction = torch.argmax(output, dim=1)

print(f"Predicted class index: {prediction.item()}")

4. 进阶任务

• 目标检测: 请参考 detection/get_started.md，通常涉及配置 MMDetection 并修改 backbone 为 Focal-Transformer。
• 语义分割: 请参考 segmentation/get_started.md，通常涉及配置 MMSegmentation。

注意：Focal-Transformer 提供了“快速版”（Focal-fast），通过移除 rolling/unfolding 操作并使用卷积提升了推理速度。若对延迟敏感，建议在配置文件中选择 focalv2_* 系列的配置文件及对应的预训练权重。