EfficientFormerV2
_{重新思考适用于移动设备尺寸与速度的视觉Transformer}

arXiv | PDF

模型在ImageNet-1K上训练，并使用CoreMLTools部署到iPhone 12上以测量延迟。

重新思考适用于移动设备尺寸与速度的视觉Transformer
李彦宇^1,2, 胡居¹, 温洋¹, 乔治奥斯·埃万杰利迪斯¹, 卡米亚尔·萨拉希³,
王延志², 谢尔盖·图利亚科夫¹, 任健^1
1Snap Inc., ²东北大学, ³加州大学伯克利分校

摘要

随着视觉Transformer（ViT）在计算机视觉任务中取得成功，近期的研究致力于优化ViT的性能和复杂度，以便在移动设备上高效部署。为此，研究者提出了多种方法来加速注意力机制、改进低效设计，或引入轻量级卷积以构建混合架构。然而，即使经过多年的发展，ViT及其变体的延迟仍然高于轻量级CNN，参数量也远超老牌的MobileNet。实际上，在资源受限的硬件上进行高效部署时，延迟和模型大小都至关重要。本文探讨了一个核心问题：Transformer模型能否像MobileNet一样快速运行，同时保持相似的模型规模？我们重新审视了ViT的设计选择，并提出了一种低延迟、高参数效率的改进超网络。此外，我们还引入了一种细粒度的联合搜索策略，能够同时优化延迟和参数数量，从而找到高效的架构。所提出的EfficientFormerV2模型在ImageNet-1K上的Top-1准确率比MobileNetV2和MobileNetV2x1.4高出约4%，且具有相似的延迟和参数量。我们的研究表明，经过合理设计和优化的视觉Transformer可以在与MobileNet相当的尺寸和速度下实现高性能。

更改记录与待办事项

• 添加EfficientFormerV2模型系列，包括efficientformerv2_s0、efficientformerv2_s1、efficientformerv2_s2和efficientformerv2_l。
• 发布EfficientFormerV2在ImageNet-1K上的预训练检查点。
• 更新EfficientFormerV2在下游任务（检测、分割）中的应用。
• 发布下游任务中的检查点。
• 增加用于性能分析和部署的工具（我们使用CoreML==5.2和Torch==1.11），示例用法如下：

python toolbox.py --model efficientformerv2_l --ckpt weights/eformer_l_450.pth --onnx --coreml

EfficientFormer
_{以MobileNet速度运行的视觉Transformer}

arXiv | PDF

模型在ImageNet-1K上训练，并使用iPhone 12和CoreMLTools测量延迟。

EfficientFormer：以MobileNet速度运行的视觉Transformer
李彦宇^1,2, 袁根格^1,2, 温洋¹, 胡埃里克¹, 乔治奥斯·埃万杰利迪斯¹,
谢尔盖·图利亚科夫¹, 王延志², 任健^1
1Snap Inc., ²东北大学

摘要

视觉Transformer（ViT）在计算机视觉任务中取得了快速发展，在各类基准测试中表现出色。然而，由于其庞大的参数量以及注意力机制等模型设计特点，基于ViT的模型通常比轻量级卷积网络慢得多。因此，将ViT部署于实时应用场景尤其具有挑战性，特别是在资源受限的硬件设备上，如移动设备。近年来，研究人员尝试通过网络架构搜索或与MobileNet模块结合的混合设计来降低ViT的计算复杂度，但其推理速度仍不理想。这引发了一个重要问题：Transformer能否在获得高性能的同时，达到与MobileNet相当的速度？为回答这一问题，我们首先回顾了ViT类模型中使用的网络架构和操作符，识别出其中的低效设计。随后，我们提出了一种完全基于Transformer的设计范式（不包含MobileNet模块）。最后，我们通过延迟驱动的精简策略，得到了一系列名为EfficientFormer的最终模型。大量实验表明，EfficientFormer在移动设备上的性能和速度均优于现有方案。我们最快的模型EfficientFormer-L1在ImageNet-1K上达到了79.2%的Top-1准确率，而在iPhone 12上仅需1.6毫秒的推理延迟（使用CoreML编译），速度与MobileNetV2x1.4（1.6毫秒，74.7% Top-1）相当；而最大的模型EfficientFormer-L7则以仅7.0毫秒的延迟获得了83.3%的准确率。我们的工作证明，经过合理设计的Transformer能够在保持高性能的同时，在移动设备上实现极低的延迟。

ImageNet-1K上的分类

模型

模型	Top-1 (300/450)	参数量	MACs	延迟	ckpt	ONNX	CoreML
EfficientFormerV2-S0	75.7 / 76.2	3.5M	0.40B	0.9ms	S0	S0	S0
EfficientFormerV2-S1	79.0 / 79.7	6.1M	0.65B	1.1ms	S1	S1	S1
EfficientFormerV2-S2	81.6 / 82.0	12.6M	1.25B	1.6ms	S2	S2	S2
EfficientFormerV2-L	83.3 / 83.5	26.1M	2.56B	2.7ms	L	L	L

模型	Top-1 准确率	延迟	Pytorch 检查点	CoreML	ONNX
EfficientFormer-L1	79.2 (80.2)	1.6ms	L1-300 (L1-1000)	L1	L1
EfficientFormer-L3	82.4	3.0ms	L3	L3	L3
EfficientFormer-L7	83.3	7.0ms	L7	L7	L7

延迟测量

EfficientFormerV2 在 iPhone 12（iOS 16）上报告的延迟使用了 XCode 14 中的基准测试工具。

对于 EfficientFormerV1，我们使用了 coreml-performance。感谢其出色的延迟测量实现！

提示: 要复现报告的速度，需要 macOS + Xcode 以及一台移动设备（iPhone 12）。

ImageNet

先决条件

建议使用 conda 虚拟环境。

conda install pytorch torchvision cudatoolkit=11.3 -c pytorch
pip install timm
pip install submitit

数据准备

从 http://image-net.org/ 下载并解压 ImageNet 的训练和验证图像。训练数据应放在 train 文件夹中，验证数据应放在 val 文件夹中：

|-- /path/to/imagenet/
    |-- train
    |-- val

单机多 GPU 训练

我们提供了一个使用 PyTorch 分布式数据并行（DDP）的示例训练脚本 dist_train.sh。

要在一台 8-GPU 机器上训练 EfficientFormer-L1：

sh dist_train.sh efficientformer_l1 8

提示：请在脚本中指定您的数据路径和实验名称！

多节点训练

在 Slurm 管理的集群上，可以通过 submitit 启动多节点训练，例如：

sh slurm_train.sh efficientformer_l1

提示：请根据您的资源情况，在脚本中指定每个节点的 GPU/CPU/内存数量！

测试

我们提供了一个使用 PyTorch 分布式数据并行（DDP）的示例测试脚本 dist_test.sh。 例如，要在一台 8-GPU 机器上测试 EfficientFormer-L1：

sh dist_test.sh efficientformer_l1 8 weights/efficientformer_l1_300d.pth

将 EfficientFormer 用作骨干网络

目标检测与实例分割
语义分割

致谢

分类（ImageNet）代码库部分基于 LeViT 和 PoolFormer 构建。

检测和分割流程来自 MMCV（MMDetection 和 MMSegmentation）。

感谢这些优秀的实现！

引用

如果您在工作中使用了我们的代码或模型，请引用 EfficientFormer（NeurIPS 2022）和 EfficientFormerV2（ICCV 2023）：

@article{li2022efficientformer,
  title={Efficientformer: Vision transformers at mobilenet speed},
  author={Li, Yanyu and Yuan, Geng and Wen, Yang and Hu, Ju and Evangelidis, Georgios and Tulyakov, Sergey and Wang, Yanzhi and Ren, Jian},
  journal={Advances in Neural Information Processing Systems},
  volume={35},
  pages={12934--12949},
  year={2022}
}

@inproceedings{li2022rethinking,
  title={Rethinking Vision Transformers for MobileNet Size and Speed},
  author={Li, Yanyu and Hu, Ju and Wen, Yang and Evangelidis, Georgios and Salahi, Kamyar and Wang, Yanzhi and Tulyakov, Sergey and Ren, Jian},
  booktitle={Proceedings of the IEEE international conference on computer vision},
  year={2023}
}

EfficientFormer 快速上手指南

EfficientFormer 系列模型旨在让 Vision Transformer (ViT) 在移动设备上达到与 MobileNet 相当的推理速度和参数量，同时保持更高的精度。本指南涵盖 EfficientFormerV2 及前代版本的快速部署流程。

1. 环境准备

系统要求

• 操作系统: Linux (推荐) 或 macOS
• Python: 3.8+
• GPU: NVIDIA GPU (用于训练和加速推理)，需安装对应版本的 CUDA
• 移动端部署测试: 如需复现论文中的延迟数据，需配备 iPhone 12 (iOS 16) 及 macOS + XCode 环境。

前置依赖

建议使用 conda 创建虚拟环境以避免依赖冲突。

# 创建并激活虚拟环境
conda create -n efficientformer python=3.8 -y
conda activate efficientformer

# 安装 PyTorch 及相关工具 (根据实际 CUDA 版本调整，此处以 11.3 为例)
# 国内用户推荐使用清华源加速
pip install torch torchvision cudatoolkit=11.3 -c pytorch -i https://pypi.tuna.tsinghua.edu.cn/simple

# 安装核心依赖
pip install timm submitit -i https://pypi.tuna.tsinghua.edu.cn/simple

# 若需进行 CoreML 转换或性能分析 (macOS 环境)
pip install coremltools==5.2

2. 安装步骤

本项目主要作为代码库使用，无需执行复杂的 setup.py 安装，克隆仓库即可直接使用。

# 克隆仓库
git clone https://github.com/snap-research/EfficientFormer.git
cd EfficientFormer

# (可选) 如果需要使用检测或分割任务，请确保已安装 MMCV, MMDetection, MMSegmentation
# 参考官方 detection/README.md 和 segmentation/README.md

3. 基本使用

3.1 模型推理与格式转换

项目提供了工具箱 toolbox.py 用于加载预训练权重并进行模型导出（ONNX 或 CoreML）。

示例：将 EfficientFormerV2-L 模型转换为 ONNX 和 CoreML 格式

python toolbox.py --model efficientformerv2_l --ckpt weights/eformer_l_450.pth --onnx --coreml

注意：请确保已下载对应的 .pth 预训练权重文件并放置在 weights/ 目录下。

3.2 ImageNet 分类测试

下载并准备好 ImageNet 数据集，目录结构如下：

|-- /path/to/imagenet/
    |-- train
    |-- val

单机多卡测试示例 (8 张 GPU) 使用提供的脚本对 EfficientFormer-L1 进行测试：

sh dist_test.sh efficientformer_l1 8 weights/efficientformer_l1_300d.pth

提示：使用前请编辑 dist_test.sh 脚本，指定正确的数据路径 (--data-path)。

3.3 模型训练

单机多卡训练示例 (8 张 GPU) 以训练 EfficientFormer-L1 为例：

sh dist_train.sh efficientformer_l1 8

提示：务必在运行前修改 dist_train.sh 中的数据集路径和实验名称配置。

多节点集群训练 (Slurm) 若在使用 Slurm 管理的集群上，可使用 submitit 启动训练：

sh slurm_train.sh efficientformer_l1

提示：请根据集群资源在脚本中调整 GPU/CPU/内存分配参数。

3.4 作为骨干网络使用

EfficientFormer 可轻松集成到下游任务中：

• 目标检测与实例分割: 参考 detection/README.md (基于 MMDetection)
• 语义分割: 参考 segmentation/README.md (基于 MMSegmentation)