PoolFormer：【MetaFormer 实际上正是您在视觉任务中所需要的】（https://arxiv.org/abs/2111.11418）（CVPR 2022 论文oral）

---

:fire: :fire: 我们的研究后续工作“MetaFormer 基线模型与视觉任务”（代码：metaformer）引入了更多 MetaFormer 基线模型，其中包括：

• IdentityFormer 通过采用身份映射的 token 混合技术，其准确率竟然突破了 80%。
• RandFormer 通过随机 token 混合，准确率高达 81%，充分证明了 MetaFormer 能够很好地应对任意 token 混合方式。
• ConvFormer 采用可分离卷积的 token 混合机制，其性能显著优于 ConvNeXt，且优势十分明显。
• CAFormer 结合可分离卷积的 token 混合机制与传统的自注意力机制，在 ImageNet-1K 数据集上刷新了新的纪录。

---

这是基于 PyTorch 的 PoolFormer 实现版本，由我们论文“MetaFormer 实际上正是您在视觉任务中所需要的”（CVPR 2022 论文 oral）提出。

注意：相较于设计复杂的 token 混合机制以实现顶尖性能，本研究的目标在于证明 Transformer 模型的卓越能力，很大程度上源自 MetaFormer 这一通用架构。Pooling/PoolFormer 只是支撑我们这一论点的工具而已。

图 1：MetaFormer 与基于 MetaFormer 的模型在 ImageNet-1K 验证集上的性能表现。 我们认为，Transformer 和 MLP 类型模型的卓越性能，主要源于 MetaFormer 这一通用架构，而非特定的 token 混合机制。 为了佐证这一点，我们利用一个极其简单的非参数化操作——池化——进行基础的 token 混合。令人惊讶的是，最终得到的模型 PoolFormer 在性能上始终超越 DeiT 和 ResMLP，如图 (b) 所示，这有力地支持了这样一个观点：MetaFormer 实际上正是我们实现竞争力级性能所必需的工具。图 (b) 中的 RSB-ResNet 指的是“ResNet 再次发力”的结果，该模型采用改进的训练策略，经过 300 个 epoch 的训练而取得优异表现。

图 2：(a) PoolFormer 的整体框架。 (b) PoolFormer 模块的架构。 与 Transformer 模块相比，它用一种极为简单的非参数化操作——池化——取代了传统的注意力机制，仅进行基础的 token 混合。

BibTeX

@inproceedings{yu2022metaformer,
  title={Metaformer 是您在视觉任务中所需要的},
  author={Yu, Weihao and Luo, Mi and Zhou, Pan and Si, Chenyang and Zhou, Yichen and Wang, Xinchao and Feng, Jiashi and Yan, Shuicheng},
  booktitle={IEEE/CVF 计算机视觉与模式识别会议论文集},
  pages={10819--10829},
  year={2022}
}

COCO 检测与实例分割配置及训练模型 请在此处 查看。

ADE20K 语义分割配置及训练模型 请在此处 查看。

用于可视化 PoolFormer、DeiT、ResMLP、ResNet 以及 Swin 等模型 Grad-CAM 激活图的代码 请在此处 查看。

用于测量 MACs 的代码 请在此处 查看。

图像分类

1. 需求

torch >= 1.7.0；torchvision >= 0.8.0；pyyaml；apex-amp（若需使用 FP16）；timm（pip install git+https://github.com/rwightman/pytorch-image-models.git@9d6aad44f8fd32e89e5cca503efe3ada5071cc2a）

数据准备：ImageNet，文件夹结构如下所示。您可以使用以下脚本提取 ImageNet 数据集：https://gist.github.com/BIGBALLON/8a71d225eff18d88e469e6ea9b39cef4。

│imagenet/
├──train/
│  ├── n01440764
│  │   ├── n01440764_10026.JPEG
│  │   ├── n01440764_10027.JPEG
│  │   ├── ......
│  ├── ......
├──val/
│  ├── n01440764
│  │   ├── ILSVRC2012_val_00000293.JPEG
│  │   ├── ILSVRC2012_val_00002138.JPEG
│  │   ├── ......
│  ├── ......

2. PoolFormer 模型

模型	参数量	图像分辨率	MACs*	Top1 准确率	下载链接
poolformer_s12	12M	224	1.8G	77.2	此处
poolformer_s24	21M	224	3.4G	80.3	此处
poolformer_s36	31M	224	5.0G	81.4	此处
poolformer_m36	56M	224	8.8G	82.1	此处
poolformer_m48	73M	224	11.6G	82.5	此处

所有预训练模型均可通过 百度云（密码：esac）下载。* 为方便与未来模型进行对比，我们更新了由 fvcore 库统计的 MACs 数量（示例代码），这些数值同样在最新版 arXiv 论文中有所报告（链接）。

网页演示

通过 Gradio 集成至 Hugging Face Spaces 🤗。试用网页演示：

使用方法

我们还提供了一个 Colab 笔记本，可运行使用 PoolFormer 进行推理的步骤：

3. 验证

要评估我们的 PoolFormer 模型，请运行：

MODEL=poolformer_s12 # poolformer_{s12, s24, s36, m36, m48}
python3 validate.py /path/to/imagenet  --model $MODEL -b 128 \
  --pretrained # 或 --checkpoint /path/to/checkpoint 

4. 训练

我们展示了如何在8块GPU上训练PoolFormer。学习率与批量大小的关系为：lr = bs / 1024 * 1e-3。 为方便起见，假设批量大小为1024，则学习率设为1e-3（对于批量大小为1024的情况，有时将学习率设置为2e-3反而能获得更好的性能）。

MODEL=poolformer_s12 # poolformer_{s12, s24, s36, m36, m48}
DROP_PATH=0.1 # 每次模型的Drop Path率范围 [0.1, 0.1, 0.2, 0.3, 0.4]，对应模型分别为 s12、s24、s36、m36、m48
CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 ./distributed_train.sh 8 /path/to/imagenet \
  --model $MODEL -b 128 --lr 1e-3 --drop-path $DROP_PATH --apex-amp

5. 可视化

PoolFormer、DeiT、ResMLP、ResNet以及Swin的Grad-CAM激活图可视化代码可在此处找到。

致谢

我们的实现主要基于以下代码库。我们衷心感谢各位作者的杰出成果。

pytorch-image-models、mmdetection、mmsegmentation。

此外，余伟浩还特别感谢TPU研究云（TRC）项目对部分计算资源的支持。

PoolFormer 快速上手指南

环境准备

• 系统：Linux / macOS / Windows（推荐 Linux）
• Python：≥3.7
• PyTorch：≥1.7.0
• torchvision：≥0.8.0
• 其他依赖：pyyaml、timm、可选 apex-amp（fp16 加速）

安装步骤

# 1. 克隆仓库
git clone https://github.com/sail-sg/poolformer.git
cd poolformer

# 2. 安装 Python 依赖
pip install torch torchvision pyyaml timm
# 可选：fp16 加速
pip install git+https://github.com/NVIDIA/apex.git

# 3. 下载 ImageNet 数据集（示例脚本）
# 国内用户可用清华镜像加速
wget https://gist.githubusercontent.com/BIGBALLON/8a71d225eff18d88e469e6ea9b39cef4/raw/extract_ILSVRC.sh
bash extract_ILSVRC.sh /your/path/to/imagenet

基本使用

1. 直接推理（单张图片）

import torch
from timm.models import create_model

model = create_model('poolformer_s12', pretrained=True)
model.eval()

# 预处理同 timm 标准示例
# ...

2. 验证预训练精度

MODEL=poolformer_s12
python3 validate.py /path/to/imagenet \
  --model $MODEL -b 128 \
  --pretrained

3. 一行代码体验 Hugging Face Demo

打开浏览器访问：
https://huggingface.co/spaces/akhaliq/poolformer

4. Colab 零安装体验

点击直接运行：