狄拉克网络

v2 更新（2018年1月）：

代码已更新至 DiracNets-v2 版本，我们在其中移除了 NCReLU，并引入了逐通道的 a 和 b 缩放因子，且不使用权重衰减。这使得网络结构显著简化，现在可以整合为一个简单的卷积-ReLU 层链，类似于 VGG 网络。在 ImageNet 数据集上，DiracNet-18 和 DiracNet-34 的性能与参数量相同的对应 ResNet 模型非常接近。

如需查看 DiracNet-v1，请参阅 v1 分支。

---

用于 DiracNets：无需跳跃连接训练超深层神经网络 的 PyTorch 代码及模型

https://arxiv.org/abs/1706.00388

像 ResNet 这样的带有跳跃连接的网络在图像识别基准测试中表现出色，但随着深度增加，其性能提升并不明显。因此，我们仍然致力于学习__真正__深层的表征及其潜在优势。为此，我们提出了一种简单的权重参数化方法，能够有效改善无跳跃连接的普通深层网络的训练效果，并支持训练具有数百层的纯卷积网络。我们的 DiracNets 在准确率上接近 Wide ResNet（尽管达到相同精度时需要更多参数），并且仅用 28 层的纯卷积 DiracNet 就能媲美 ResNet-1000 的性能。此外，所提出的狄拉克权重参数化方式可以在推理阶段合并为单个滤波器，从而得到易于理解的类似 VGG 的网络结构。

DiracNets 在 ImageNet 上的表现：

简而言之

简而言之，狄拉克参数化是滤波器与缩放后的狄拉克 δ 函数之和：

conv2d(x, alpha * delta + W)

以下是我们用于训练普通狄拉克网络（采用权重归一化）的简化版伪代码：

def dirac_conv2d(input, W, alpha, beta)
    return F.conv2d(input, alpha * dirac(W) + beta * normalize(W))

其中 alpha 和 beta 是逐通道的缩放因子，而 normalize 则对每个特征平面进行 L2 归一化。

代码

代码结构：

├── README.md # 本文件
├── diracconv.py # 模块化的 DiracConv 定义
├── test.py # 单元测试
├── diracnet-export.ipynb # ImageNet 预训练模型
├── diracnet.py # 功能性模型定义
└── train.py # CIFAR 和 ImageNet 训练代码

要求

首先安装 PyTorch，然后安装 torchnet：

pip install git+https://github.com/pytorch/tnt.git@master

再安装其他 Python 包：

pip install -r requirements.txt

要在 CIFAR 上训练 DiracNet-34-2，执行以下命令：

python train.py --save ./logs/diracnets_$RANDOM$RANDOM --depth 34 --width 2

要在 ImageNet 上训练 DiracNet-18，执行以下命令：

python train.py --dataroot ~/ILSVRC2012/ --dataset ImageNet --depth 18 --save ./logs/diracnet_$RANDOM$RANDOM \
                --batchSize 256 --epoch_step [30,60,90] --epochs 100 --weightDecay 0.0001 --lr_decay_ratio 0.1

nn.Module 代码

我们提供了 DiracConv1d、DiracConv2d、DiracConv3d，它们的功能与 nn.Conv1d、nn.Conv2d、nn.Conv3d 类似，但内部采用了狄拉克参数化（不过我们的训练代码并未使用这些模块）。

预训练模型

为了简化起见，我们将批量归一化和狄拉克参数化合并到了 F.conv2d 的 weight 和 bias 张量中。由此得到的模型与 VGG 或 AlexNet 一样简单，其基本模块仅包含非线性激活函数和卷积层。

有关功能性和模块化的模型定义，请参阅 diracnets.ipynb。

此外，在 diracnet.py 中还提供了一个折叠后的 DiracNet 定义，它使用了 PyTorch model_zoo 中的代码，并从 Amazon S3 下载预训练模型：

from diracnet import diracnet18
model = diracnet18(pretrained=True)

上述模型的打印输出如下：

DiracNet(
  (features): Sequential(
    (conv): Conv2d (3, 64, kernel_size=(7, 7), stride=(2, 2), padding=(3, 3))
    (max_pool0): MaxPool2d(kernel_size=(3, 3), stride=(2, 2), padding=(1, 1), dilation=(1, 1), ceil_mode=False)
    (group0.block0.relu): ReLU()
    (group0.block0.conv): Conv2d (64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (group0.block1.relu): ReLU()
    (group0.block1.conv): Conv2d (64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (group0.block2.relu): ReLU()
    (group0.block2.conv): Conv2d (64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (group0.block3.relu): ReLU()
    (group0.block3.conv): Conv2d (64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (max_pool1): MaxPool2d(kernel_size=(2, 2), stride=(2, 2), dilation=(1, 1), ceil_mode=False)
    (group1.block0.relu): ReLU()
    (group1.block0.conv): Conv2d (64, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (group1.block1.relu): ReLU()
    (group1.block1.conv): Conv2d (128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (group1.block2.relu): ReLU()
    (group1.block2.conv): Conv2d (128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (group1.block3.relu): ReLU()
    (group1.block3.conv): Conv2d (128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (max_pool2): MaxPool2d(kernel_size=(2, 2), stride=(2, 2), dilation=(1, 1), ceil_mode=False)
    (group2.block0.relu): ReLU()
    (group2.block0.conv): Conv2d (128, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (group2.block1.relu): ReLU()
    (group2.block1.conv): Conv2d (256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (group2.block2.relu): ReLU()
    (group2.block2.conv): Conv2d (256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (group2.block3.relu): ReLU()
    (group2.block3.conv): Conv2d (256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (max_pool3): MaxPool2d(kernel_size=(2, 2), stride=(2, 2), dilation=(1, 1), ceil_mode=False)
    (group3.block0.relu): ReLU()
    (group3.block0.conv): Conv2d (256, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (group3.block1.relu): ReLU()
    (group3.block1.conv): Conv2d (512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (group3.block2relu): ReLU()
    (group3.block2conv): Conv2d (512, 512, kernel size=(3, 3), stride=(1, 1), padding=(1, 1))
    (group3.block3relu): ReLU()
    (group3.block3conv): Conv2d (512, 512, kernel size=(3, 3), stride=(1, 1), padding=(1, 1))
    (last_relu): ReLU()
    (avg_pool): AvgPool2d(kernel_size=7, stride=7, padding=0, ceil_mode=False, count_include_pad=True)
  )
  (fc): Linear(in_features=512, out_features=1000)
)

这些模型是使用 OpenCV 训练的，因此要复现文中提到的准确率，也需要使用 OpenCV。

DiracNet-18 和 DiracNet-34 的预训练权重如下：
https://s3.amazonaws.com/modelzoo-networks/diracnet18v2folded-a2174e15.pth
https://s3.amazonaws.com/modelzoo-networks/diracnet34v2folded-dfb15d34.pth

原始（未折叠）模型的预训练权重（仅限于功能型定义）如下：
https://s3.amazonaws.com/modelzoo-networks/diracnet18-v2_checkpoint.pth
https://s3.amazonaws.com/modelzoo-networks/diracnet34-v2_checkpoint.pth

我们计划后续添加更多预训练模型。

Bibtex

@inproceedings{Zagoruyko2017diracnets,
    author = {Sergey Zagoruyko and Nikos Komodakis},
    title = {DiracNets: 在没有跳跃连接的情况下训练超深度神经网络},
    url = {https://arxiv.org/abs/1706.00388},
    year = {2017}}

DiracNets 快速上手指南

DiracNets 是一个用于训练极深神经网络（无需跳跃连接/Skip-Connections）的 PyTorch 实现。它通过一种特殊的权重参数化方法（Dirac 参数化），使得普通深层网络（Plain Networks）能够达到与 ResNet 相当的精度，同时保持类似 VGG 的简洁链式结构，便于推理和解释。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux 或 macOS (Windows 需自行配置 PyTorch 环境)
• Python: 建议 Python 3.6+
• 核心依赖:
  • PyTorch: 深度学习框架
  • torchnet: PyTorch 工具箱
• 其他依赖: 项目所需的额外 Python 包（见 requirements.txt）
• 注意: 预训练模型是使用 OpenCV 训练的，若要复现官方精度，建议安装 opencv-python。

安装步骤

1. 安装 PyTorch

请访问 PyTorch 官网 根据您的 CUDA 版本选择对应的安装命令。 (国内用户推荐使用清华源加速安装)

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

(请将 cu118 替换为您实际的 CUDA 版本，如 cpu 或 cu121)

2. 安装 torchnet

pip install git+https://github.com/pytorch/tnt.git@master

(若下载速度慢，可先克隆仓库到本地再安装)

3. 安装项目依赖

克隆本项目代码后，进入目录并安装其余依赖：

pip install -r requirements.txt

基本使用

方式一：加载预训练模型（推荐）

DiracNets 提供了折叠后的预训练模型（将 BatchNorm 和 Dirac 参数合并为标准卷积），结构极简，类似 VGG。

from diracnet import diracnet18

# 加载预训练的 DiracNet-18 模型
model = diracnet18(pretrained=True)

# 打印模型结构查看
print(model)

注：代码会自动从 Amazon S3 下载权重。若网络受限，可手动下载权重文件并修改加载路径。

预训练模型地址：

• DiracNet-18 (Folded): https://s3.amazonaws.com/modelzoo-networks/diracnet18v2folded-a2174e15.pth
• DiracNet-34 (Folded): https://s3.amazonaws.com/modelzoo-networks/diracnet34v2folded-dfb15d34.pth

方式二：从头训练

项目提供了在 CIFAR 和 ImageNet 数据集上的训练脚本。

在 CIFAR 上训练 DiracNet-34-2：

python train.py --save ./logs/diracnets_$RANDOM$RANDOM --depth 34 --width 2

在 ImageNet 上训练 DiracNet-18：

python train.py --dataroot ~/ILSVRC2012/ --dataset ImageNet --depth 18 --save ./logs/diracnet_$RANDOM$RANDOM \
                --batchSize 256 --epoch_step [30,60,90] --epochs 100 --weightDecay 0.0001 --lr_decay_ratio 0.1

核心原理简述

DiracNets 的核心在于卷积层的参数化形式，即滤波器与缩放后的狄拉克δ函数之和： conv2d(x, alpha * delta + W)

在训练时，使用了如下形式的伪代码逻辑（含权重归一化）：

def dirac_conv2d(input, W, alpha, beta)
    return F.conv2d(input, alpha * dirac(W) + beta * normalize(W))

其中 alpha 和 beta 是每个通道的缩放乘数。推理时，该结构可折叠为标准的 Conv2d 层。