可切换归一化

可切换归一化是一种归一化技术，能够在深度神经网络中以端到端的方式为不同的归一化层学习不同的归一化操作。

更新

• 2019年3月21日：发布分布式训练框架和人脸识别框架。我们还发布了针对分割、检测等小批量任务的SyncBN和SyncSN的PyTorch实现。关于SyncBN和SyncSN的更多细节，请参阅这篇。
• 2018年7月27日：ResNet50+SN(8,1)和SN(8,4)的预训练模型已发布。这些模型在目标任务的批量大小受限于较小的情况下，有助于微调阶段。我们还发布了ResNet101v2+SN的预训练模型，该模型在ImageNet上达到了78.81%/94.16%的top-1/top-5准确率。更多预训练模型将很快发布！
• 2018年7月26日：目标检测的代码已在SwitchNorm_Detection仓库中发布。
• 2018年7月9日：我们想解释一下SN背后的优势。请参阅HTML预览或这篇中文博客。
• 2018年7月4日：模型库已更新！
• 2018年7月2日：图像分类的代码以及在ImageNet上的预训练模型已发布。

引用

本仓库提供了使用可切换归一化训练的ImageNet分类结果和模型。如果您在研究中使用SN，欢迎引用以下论文：

@article{SwitchableNorm,
  title={通过可切换归一化实现可微分的自学习归一化},
  author={罗平、任佳敏、彭章林、张瑞茂、李静宇},
  journal={国际表征学习会议（ICLR）},
  year={2019}
}

结果概述

ImageNet上的图像分类

在不同批量大小设置下，使用SN、BN和GN训练的ResNet50在ImageNet验证集上的top-1准确率比较。括号内数字表示(#GPUs,#samples per GPU)。底部的“GN-BN”表示GN与BN准确率之差。BN中的(8,1)里的“-”表示其未收敛。

	(8,32)	(8,16)	(8,8)	(8,4)	(8,2)	(1,16)	(1,32)	(8,1)	(1,8)
BN	76.4	76.3	75.2	72.7	65.3	76.2	76.5	–	75.4
GN	75.9	75.8	76.0	75.8	75.9	75.9	75.8	75.5	75.5
SN	76.9	76.7	76.7	75.9	75.6	76.3	76.6	75.0*	75.9
GN−BN	-0.5	-0.5	0.8	3.1	10.6	-0.3	-0.7	–	0.1
SN−BN	0.5	0.4	1.5	3.2	10.3	0.1	0.1	–	0.5
SN−GN	1.0	0.9	0.7	0.1	-0.3	0.4	0.8	-0.5	0.4

*对于(8,1)，SN包含IN和LN而没有BN，因为在训练时BN与IN相同。

模型 Zoo

我们提供了在 ImageNet 上使用 SN 预训练的模型，并以使用 BN 预训练的模型作为参考进行对比。如果您在研究中使用这些模型，请引用 SN 论文。SN 的配置以 (#GPUs, #images per GPU) 表示。

模型	Top-1*	Top-5*	Epochs	LR Scheduler	Weight Decay	下载
ResNet101v2+SN (8,32)	78.81%	94.16%	120	warmup + cosine lr	1e-4	[Google Drive] [Baidu Pan]
ResNet101v1+SN (8,32)	78.54%	94.10%	120	warmup + cosine lr	1e-4	[Google Drive] [Baidu Pan]
ResNet50v2+SN (8,32)	77.57%	93.65%	120	warmup + cosine lr	1e-4	[Google Drive] [Baidu Pan]
ResNet50v1+SN (8,32)	77.49%	93.32%	120	warmup + cosine lr	1e-4	[Google Drive] [Baidu Pan]
ResNet50v1+SN (8,32)	76.92%	93.26%	100	Initial lr=0.1 decay=0.1 steps[30,60,90,10]	1e-4	[Google Drive] [Baidu Pan]
ResNet50v1+SN (8,4)	75.85%	92.7%	100	Initial lr=0.0125 decay=0.1 steps[30,60,90,10]	1e-4	[Google Drive] [Baidu Pan]
ResNet50v1+SN (8,1)†	75.94%	92.7%	100	Initial lr=0.003125 decay=0.1 steps[30,60,90,10]	1e-4	[Google Drive] [Baidu Pan]
ResNet50v1+BN	75.20%	92.20%	--	stepwise decay	--	[TensorFlow models]
ResNet50v1+BN	76.00%	92.98%	--	stepwise decay	--	[PyTorch Vision]
ResNet50v1+BN	75.30%	92.20%	--	stepwise decay	--	[MSRA]
ResNet50v1+BN	75.99%	92.98%	--	stepwise decay	--	[FB Torch]

*单裁剪验证准确率，基于 ImageNet（对缩放后短边为 256 的图像进行 224×224 中心裁剪）

†对于 (8,1)，SN 包含 IN 和 LN 而无 BN，因为在训练过程中 BN 实际上等同于 IN。使用该模型时，您应在 yaml 文件中添加 using_bn : False。

许可协议

本仓库中的所有材料均依据 CC-BY-NC 4.0 许可协议 发布。

Switchable Normalization 快速上手指南

环境准备

• 系统：Linux / macOS / Windows（推荐 Linux）
• Python：≥3.6
• PyTorch：≥1.0（支持 CUDA 更佳）
• 依赖：torchvision, numpy, tqdm

安装步骤

1. 克隆仓库

   git clone https://github.com/switchablenorms/Switchable-Normalization.git
   cd Switchable-Normalization
   

2. 安装依赖（国内用户可换清华源）

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 验证安装

   import torch
   from models.resnet import resnet50
   model = resnet50(norm_layer='SwitchNorm2d')
   print(model)
   

基本使用

1. 直接替换 BatchNorm

from models.switchable_norm import SwitchNorm2d

# 原 BatchNorm 层
# nn.BatchNorm2d(64)

# 替换为 SwitchNorm
SwitchNorm2d(64, using_bn=True)

2. 加载预训练模型

import torch
from models.resnet import resnet50

model = resnet50(norm_layer='SwitchNorm2d')
state_dict = torch.load('resnet50-SN-8-32.pth')  # 从 Model Zoo 下载
model.load_state_dict(state_dict)

3. 训练脚本示例

python train.py --arch resnet50 --norm switchable --batch-size 32 --lr 0.1

小批次训练（如 batch=1）时，在 YAML 配置中添加 using_bn: False 以禁用 BN 分支。