MobileNet V2 的 PyTorch 实现

+ 我的仓库 *mobilenetv3.pytorch* 中发布了新一代 MobileNet
+ 我的仓库 *HBONet* 中发布了 MobileNetV2 的高级设计 [ICCV 2019]
+ 发布了性能更好的预训练模型。详情见下文。

按照 Mark Sandler、Andrew Howard、Menglong Zhu、Andrey Zhmoginov 和 Liang-Chieh Chen 在 ILSVRC2012 基准测试上发表的论文《MobileNetV2：倒置残差与线性瓶颈》（https://arxiv.org/abs/1801.04381）中描述的 MobileNet V2 架构，使用 PyTorch 框架进行复现。

该实现提供了一个训练和验证任何主流深度神经网络架构的示例流程，集成了模块化的数据处理、训练、日志记录和可视化功能。

需求

依赖

• PyTorch 1.0+
• NVIDIA-DALI（开发中，不推荐）

数据集

下载 ImageNet 数据集，并将验证图像移动到带有标签的子文件夹中。 可以使用以下脚本完成此操作：https://raw.githubusercontent.com/soumith/imagenetloader.torch/master/valprep.sh

预训练模型

预训练的 MobileNetV2 1.0 在 ImageNet 验证集上达到了 72.834% 的 top-1 精度 和 91.060% 的 top-5 精度，高于原始论文以及官方 TensorFlow 实现中报告的指标。

具有不同宽度乘数的 MobileNetV2

架构	参数量	MFLOPs	Top-1 / Top-5 精度 (%)
MobileNetV2 1.0	3.504M	300.79	72.192 / 90.534
MobileNetV2 0.75	2.636M	209.08	69.952 / 88.986
MobileNetV2 0.5	1.968M	97.14	64.592 / 85.392
MobileNetV2 0.35	1.677M	59.29	60.092 / 82.172
MobileNetV2 0.25	1.519M	37.21	52.352 / 75.932
MobileNetV2 0.1	1.356M	12.92	34.896 / 56.564

具有不同输入分辨率的 MobileNetV2 1.0

架构	参数量	MFLOPs	Top-1 / Top-5 精度 (%)
MobileNetV2 224x224	3.504M	300.79	72.192 / 90.534
MobileNetV2 192x192	3.504M	221.33	71.076 / 89.760
MobileNetV2 160x160	3.504M	154.10	69.504 / 88.848
MobileNetV2 128x128	3.504M	99.09	66.740 / 86.952
MobileNetV2 96x96	3.504M	56.31	62.696 / 84.046

以 MobileNetV2 1.0 为例，可以使用以下代码轻松导入预训练模型，然后针对其他视觉任务进行微调，或在资源受限的平台上使用。

from models.imagenet import mobilenetv2

net = mobilenetv2()
net.load_state_dict(torch.load('pretrained/mobilenetv2-c5e733a8.pth'))

使用方法

训练

为了高效复现我们的强大结果，配置如下：在 4 张 TiTan XP GPU 上运行约 2 天，采用 非分布式 DataParallel 和 PyTorch 数据加载器。

• 批量大小 256
• epoch 150
• 学习率 0.05
• 学习率衰减策略 余弦
• 权重衰减 0.00004

而 最新发布的模型 则实现了更高的精度，它使用更大的批量大小（1024），在 8 张 GPU 上训练，初始学习率更高（0.4），训练轮数也更长（250）。此外，在最终的全连接层之前插入了一个 dropout 层，dropout 率为 0.2；对偏置和 BN 层不施加权重衰减；并且学习率在前五个 epoch 内从 0.1 线性增加到 0.4。

python imagenet.py \
    -a mobilenetv2 \
    -d <path-to-ILSVRC2012-data> \
    --epochs 150 \
    --lr-decay cos \
    --lr 0.05 \
    --wd 4e-5 \
    -c <path-to-save-checkpoints> \
    --width-mult <宽度乘数> \
    --input-size <输入分辨率> \
    -j <工作线程数>

测试

python imagenet.py \
    -a mobilenetv2 \
    -d <path-to-ILSVRC2012-data> \
    --weight <预训练的pth文件> \
    --width-mult <宽度乘数> \
    --input-size <输入分辨率> \
    -e

引用

如果您使用此模型，请引用 MobileNet V2 论文的 BibTeX 条目：

@InProceedings{Sandler_2018_CVPR,
author = {Sandler, Mark and Howard, Andrew and Zhu, Menglong and Zhmoginov, Andrey and Chen, Liang-Chieh},
title = {MobileNetV2: Inverted Residuals and Linear Bottlenecks},
booktitle = {IEEE 计算机视觉与模式识别会议 (CVPR)},
month = {六月},
year = {2018}
}

如果您发现此实现对您的研究有所帮助，请也考虑引用：

@InProceedings{Li_2019_ICCV,
author = {Li, Duo and Zhou, Aojun and Yao, Anbang},
title = {HBONet：两个正交维度上的和谐瓶颈},
booktitle = {IEEE 国际计算机视觉会议 (ICCV)},
month = {十月},
year = {2019}
}

许可证

本仓库采用 Apache License 2.0 许可证。

MobileNetV2 PyTorch 快速上手指南

本指南基于 mobilenetv2.pytorch 开源项目，帮助开发者快速在 PyTorch 环境中复现和使用 MobileNetV2 模型。

环境准备

系统要求

• Python: 建议 Python 3.6+
• PyTorch: 版本需 >= 1.0
• GPU: 推荐使用 NVIDIA GPU 进行训练或推理（可选 DALI 加速，但当前处于开发阶段，暂不推荐）

依赖安装

请确保已安装 PyTorch。若未安装，可使用以下命令（推荐国内镜像源加速）：

pip install torch torchvision -i https://pypi.tuna.tsinghua.edu.cn/simple

其他依赖通常随 PyTorch 自动安装，本项目无需额外复杂的环境配置。

安装步骤

1. 克隆仓库 将代码库克隆到本地：

   git clone https://github.com/d-li14/mobilenetv2.pytorch.git
   cd mobilenetv2.pytorch
   

2. 准备数据集 (ImageNet) 本项目主要在 ImageNet (ILSVRC2012) 上运行。请下载数据集并将验证集图片移动到带标签的子文件夹中。

   可以使用官方提供的脚本自动处理验证集目录结构：

   wget https://raw.githubusercontent.com/soumith/imagenetloader.torch/master/valprep.sh
   bash valprep.sh
   

   注意：请将 <path-to-ILSVRC2012-data> 替换为你本地的 ImageNet 数据集根目录路径。

3. 下载预训练模型 (可选) 如果仅需推理或微调，可直接下载预训练权重。例如下载精度最高的 MobileNetV2 1.0 模型：

   mkdir -p pretrained
   # 此处以手动下载为例，也可在代码中指定远程 URL
   # 模型地址: https://github.com/d-li14/mobilenetv2.pytorch/blob/master/pretrained/mobilenetv2-c5e733a8.pth
   

基本使用

1. 加载预训练模型 (Python API)

最简单的使用方式是直接在 Python 代码中加载模型和权重，用于迁移学习或特征提取。

import torch
from models.imagenet import mobilenetv2

# 初始化网络
net = mobilenetv2()

# 加载预训练权重 (确保文件路径正确)
# 该模型在 ImageNet 验证集上达到了 72.834% 的 Top-1 准确率
net.load_state_dict(torch.load('pretrained/mobilenetv2-c5e733a8.pth'))

# 设置为评估模式
net.eval()

# 示例：准备输入数据 (batch_size=1, channels=3, height=224, width=224)
input_tensor = torch.randn(1, 3, 224, 224)

# 前向传播
with torch.no_grad():
    output = net(input_tensor)
    
print(output.shape)

2. 模型测试 (命令行)

使用提供的脚本对验证集进行测试：

python imagenet.py \
    -a mobilenetv2 \
    -d <path-to-ILSVRC2012-data> \
    --weight pretrained/mobilenetv2-c5e733a8.pth \
    --width-mult 1.0 \
    --input-size 224 \
    -e

3. 开始训练 (命令行)

若要从头训练或微调模型，可使用以下命令。以下配置可在 4 张 Titan XP GPU 上约 2 天复现结果：

python imagenet.py \
    -a mobilenetv2 \
    -d <path-to-ILSVRC2012-data> \
    --epochs 150 \
    --lr-decay cos \
    --lr 0.05 \
    --wd 4e-5 \
    -c ./checkpoints \
    --width-mult 1.0 \
    --input-size 224 \
    -j 4

• --width-mult: 宽度乘数，可选值包括 1.0, 0.75, 0.5, 0.35, 0.25, 0.1，用于调整模型大小。
• --input-size: 输入分辨率，可选 224, 192, 160, 128, 96 等。