ResNeSt

分割注意力网络，一种新的ResNet变体。它显著提升了Mask R-CNN、Cascade R-CNN和DeepLabV3等下游模型的性能。

目录

0. 预训练模型
1. 迁移学习模型
2. 验证ImageNet结果
3. 如何训练
4. 参考文献

Pypi / GitHub 安装

0. 安装此软件包仓库，注意只需选择其中一种方式即可

# 使用GitHub地址
pip install git+https://github.com/zhanghang1989/ResNeSt

# 使用PyPI
pip install resnest --pre

预训练模型

	裁剪尺寸	PyTorch	Gluon
ResNeSt-50	224	81.03	81.04
ResNeSt-101	256	82.83	82.81
ResNeSt-200	320	83.84	83.88
ResNeSt-269	416	84.54	84.53

• 第三方实现 可用：TensorFlow、Caffe、JAX。

• 更多消融实验模型可在 链接 中找到。

PyTorch 模型

• 使用 Torch Hub 加载

import torch
# 获取模型列表
torch.hub.list('zhanghang1989/ResNeSt', force_reload=True)

# 加载预训练模型，以ResNeSt-50为例
net = torch.hub.load('zhanghang1989/ResNeSt', 'resnest50', pretrained=True)

• 使用 Python 包加载

# 以ResNeSt-50为例
from resnest.torch import resnest50
net = resnest50(pretrained=True)

Gluon 模型

• 加载预训练模型：

# 以ResNeSt-50为例
from resnest.gluon import resnest50
net = resnest50(pretrained=True)

迁移学习模型

Detectron2

我们提供了一个用于使用ResNeSt主干训练Detectron2模型的封装，位于 d2。训练配置和预训练模型已发布。详情请参阅 d2。

MMDetection

ResNeSt主干已被 MMDetection 采用。

语义分割

• PyTorch 模型和训练：请访问 PyTorch Encoding Toolkit。
• Gluon 模型和训练：请访问 GluonCV Toolkit。

验证 ImageNet 结果：

注意： 论文中报告的推理速度是使用 Gluon 实现并结合 RecordIO 数据进行测试的。

准备 ImageNet 数据集：

为简便起见，我们这里使用原始图像数据格式。如果您希望使用 RecordIO 格式，请参考 GluonCV 教程。

cd scripts/dataset/
# 假设您已将数据集下载到当前文件夹
python prepare_imagenet.py --download-dir ./

Torch 模型

# 以resnest50为例
cd scripts/torch/
python verify.py --model resnest50 --crop-size 224

Gluon 模型

# 以resnest50为例
cd scripts/gluon/
python verify.py --model resnest50 --crop-size 224

如何训练

ImageNet 模型

• 使用 MXNet Gluon 训练：请访问 Gluon 文件夹。
• 使用 PyTorch 训练：请访问 PyTorch Encoding Toolkit（略逊于 Gluon 实现）。

Detectron 模型

对于目标检测和实例分割模型，请访问我们的 detectron2-ResNeSt 分支。

语义分割

• 使用 PyTorch 训练：Encoding Toolkit。
• 使用 MXNet 训练：GluonCV Toolkit。

参考文献

ResNeSt: 分割注意力网络 [arXiv]

张航、吴崇若、张中岳、朱毅、张志、林海斌、孙悦、何通、乔纳斯·穆勒、R. 曼马塔、李沐和亚历克斯·斯莫拉

@article{zhang2020resnest,
title={ResNeSt: Split-Attention Networks},
author={Zhang, Hang and Wu, Chongruo and Zhang, Zhongyue and Zhu, Yi and Zhang, Zhi and Lin, Haibin and Sun, Yue and He, Tong and Muller, Jonas and Manmatha, R. and Li, Mu and Smola, Alexander},
journal={arXiv preprint arXiv:2004.08955},
year={2020}
}

主要贡献者

• ResNeSt 主干网络（张航）
• Detectron 模型（吴崇若、张仲悦）
• 语义分割（朱毅）
• 分布式训练（林海斌）

ResNeSt 快速上手指南

ResNeSt（Split-Attention Network）是 ResNet 的一种变体，通过引入分裂注意力机制，显著提升了下游任务（如 Mask R-CNN、Cascade R-CNN 和 DeepLabV3）的性能。本指南将帮助中国开发者快速安装并使用预训练模型。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux 或 macOS (Windows 需使用 WSL 或 Docker)
• Python: 3.6 及以上版本
• 深度学习框架:
  • PyTorch: 1.4+ (推荐用于快速验证和推理)
  • MXNet (Gluon): 1.6+ (原文训练及高精度推理推荐)
• 依赖库: torchvision, numpy 等常规科学计算库

提示：国内用户建议使用清华源或阿里源加速 Python 包下载。

安装步骤

您可以选择通过 PyPI 或 GitHub 源码进行安装，任选其一即可。

方式一：通过 PyPI 安装（推荐）

使用 pip 直接安装预发布版本：

pip install resnest --pre -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：通过 GitHub 源码安装

如果您需要最新代码或进行二次开发：

pip install git+https://github.com/zhanghang1989/ResNeSt -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

安装完成后，您可以直接加载预训练模型进行推理。以下提供 PyTorch 和 Gluon 两种框架的最简示例。

1. PyTorch 用户

方法 A：使用 Torch Hub (无需额外导入 resnest 包)

import torch

# 查看可用模型列表
torch.hub.list('zhanghang1989/ResNeSt', force_reload=True)

# 加载预训练模型 (以 ResNeSt-50 为例)
net = torch.hub.load('zhanghang1989/ResNeSt', 'resnest50', pretrained=True)
net.eval()

# 准备输入数据 (示例)
input_tensor = torch.randn(1, 3, 224, 224)
with torch.no_grad():
    output = net(input_tensor)

方法 B：使用 Python 包导入

from resnest.torch import resnest50
import torch

# 初始化模型
net = resnest50(pretrained=True)
net.eval()

# 推理示例
input_tensor = torch.randn(1, 3, 224, 224)
output = net(input_tensor)

2. MXNet (Gluon) 用户

from resnest.gluon import resnest50
import mxnet as mx

# 加载预训练模型
net = resnest50(pretrained=True)
net.hybridize()

# 准备输入数据
data = mx.nd.random.normal(shape=(1, 3, 224, 224))
output = net(data)

预训练模型性能参考

模型	裁剪尺寸	Top-1 准确率 (PyTorch)
ResNeSt-50	224	81.03%
ResNeSt-101	256	82.83%
ResNeSt-200	320	83.84%
ResNeSt-269	416	84.54%

注意：如需用于目标检测（Detectron2/MMDetection）或语义分割任务，请参考官方仓库中的 d2 文件夹或 MMDetection 配置文档以获取对应的骨干网络集成方案。