DropBlock

在 PyTorch 中实现 DropBlock：一种用于卷积网络的正则化方法。

摘要

深度神经网络通常在过参数化并结合大量噪声和正则化（如权重衰减、丢弃法等）进行训练时表现良好。尽管丢弃法被广泛用作全连接层的正则化技术，但它对卷积层的效果往往较差。这种现象可能是因为卷积层中的激活单元在空间上存在相关性，因此即使应用了丢弃法，信息仍然能够通过卷积网络传递。因此，需要一种结构化的丢弃方法来对卷积网络进行正则化。本文提出了 DropBlock，这是一种结构化的丢弃方法，它会将特征图中一个连续区域内的单元一起丢弃。我们发现，在卷积层之外，将 DropBlock 应用于跳跃连接也能提高模型的准确率。此外，在训练过程中逐步增加丢弃的单元数量，可以进一步提升模型的准确率，并使其对超参数的选择更加鲁棒。大量实验表明，与传统的丢弃法相比，DropBlock 在卷积网络的正则化方面表现更优。在 ImageNet 分类任务上，使用 DropBlock 的 ResNet-50 架构达到了 78.13% 的准确率，比基线高出 1.6 个百分点以上。在 COCO 目标检测任务上，DropBlock 将 RetinaNet 的平均精度从 36.8% 提升至 38.4%。

安装

直接从 PyPI 安装：

pip install dropblock

或者从 GitHub 获取最新版本：

pip install git+https://github.com/miguelvr/dropblock.git#egg=dropblock

注意：实现和测试是在 Python 3.6 中完成的，如果您在其他版本的 Python 上遇到问题，请提交 issue。

使用方法

对于 2D 输入（DropBlock2D）：

import torch
from dropblock import DropBlock2D

# (batch_size, n_feats, height, width)
x = torch.rand(100, 10, 16, 16)

drop_block = DropBlock2D(block_size=3, drop_prob=0.3)
regularized_x = drop_block(x)

对于 3D 输入（DropBlock3D）：

import torch
from dropblock import DropBlock3D

# (batch_size, n_feats, depth, height, width)
x = torch.rand(100, 10, 16, 16, 16)

drop_block = DropBlock3D(block_size=3, drop_prob=0.3)
regularized_x = drop_block(x)

调度式 DropBlock：

import torch
from dropblock import DropBlock2D, LinearScheduler

# (batch_size, n_feats, depth, height, width)
loader = [torch.rand(20, 10, 16, 16) for _ in range=10]

drop_block = LinearScheduler(
                DropBlock2D(block_size=3, drop_prob=0.),
                start_value=0.,
                stop_value=0.25,
                nr_steps=5
            )

probs = []
for x in loader:
    drop_block.step()
    regularized_x = drop_block(x)
    probs.append(drop_block.dropblock.drop_prob)
    
print(probs)

丢弃概率将为：

>>> [0.    , 0.0625, 0.125 , 0.1875, 0.25, 0.25, 0.25, 0.25, 0.25, 0.25]

用户应在批次循环开始时或模型 forward 方法开始时调用 step() 方法。

请参阅 examples/resnet-cifar10.py，以查看实现示例。

实现细节

我们选择使用 drop_prob 而不是 keep_prob，主要是出于偏好考虑，并且为了使参数与 PyTorch 的丢弃法保持一致。除此之外，其他部分的实现方式应与论文中的描述基本一致。

基准测试

请参考 BENCHMARK.md。

参考文献

[Ghiasi 等，2018] DropBlock：一种用于卷积网络的正则化方法

待办事项

• 调度式 DropBlock
• 获取基准测试数据
• 将该方法扩展到 3D 图像

DropBlock 快速上手指南

DropBlock 是一种专为卷积神经网络设计的结构化正则化方法。与传统的 Dropout 不同，DropBlock 会丢弃特征图中连续区域的单元，从而更有效地防止过拟合，提升模型在图像分类和目标检测任务中的表现。

环境准备

• 操作系统：Linux, macOS, Windows
• Python 版本：推荐 Python 3.6 及以上（官方实现基于 3.6 测试）
• 核心依赖：
  • PyTorch
  • pip (包管理工具)

安装步骤

你可以选择从 PyPI 安装稳定版，或从 GitHub 安装最新开发版。

方式一：从 PyPI 安装（推荐）

pip install dropblock

国内用户加速建议：

pip install dropblock -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：从 GitHub 安装最新版

pip install git+https://github.com/miguelvr/dropblock.git#egg=dropblock

基本使用

1. 基础用法 (2D 图像)

适用于标准的 2D 卷积网络（如 ResNet, VGG 等）。

import torch
from dropblock import DropBlock2D

# 输入张量格式：(batch_size, channels, height, width)
x = torch.rand(100, 10, 16, 16)

# 初始化 DropBlock: block_size 为丢弃区域大小，drop_prob 为丢弃概率
drop_block = DropBlock2D(block_size=3, drop_prob=0.3)

# 应用正则化
regularized_x = drop_block(x)

2. 基础用法 (3D 数据)

适用于 3D 卷积网络（如视频处理、医学影像）。

import torch
from dropblock import DropBlock3D

# 输入张量格式：(batch_size, channels, depth, height, width)
x = torch.rand(100, 10, 16, 16, 16)

drop_block = DropBlock3D(block_size=3, drop_prob=0.3)
regularized_x = drop_block(x)

3. 进阶用法：线性调度 (Scheduled DropBlock)

为了获得更好的效果，建议在训练过程中逐渐增加丢弃概率。使用 LinearScheduler 可以轻松实现。

import torch
from dropblock import DropBlock2D, LinearScheduler

# 模拟训练数据加载器
loader = [torch.rand(20, 10, 16, 16) for _ in range(10)]

# 配置调度器：从 0.0 线性增加到 0.25，耗时 5 个步骤
drop_block = LinearScheduler(
    DropBlock2D(block_size=3, drop_prob=0.),
    start_value=0.,
    stop_value=0.25,
    nr_steps=5
)

for x in loader:
    # 【重要】在每个 batch 循环开始或模型 forward 调用前执行 step()
    drop_block.step()
    
    regularized_x = drop_block(x)
    
    # 打印当前的丢弃概率以验证调度效果
    print(f"Current drop_prob: {drop_block.dropblock.drop_prob}")

注意：务必在训练循环的每一步调用 drop_block.step()，否则丢弃概率将不会按预期更新。