Deformable ConvNets v2 的 PyTorch 实现

本仓库包含基于 Deformable ConvNets v2: More Deformable, Better Results 使用 PyTorch 实现的 Deformable ConvNets v2（调制变形卷积） 代码。该实现基于 ChunhuanLin/deform_conv_pytorch，感谢 ChunhuanLin 的工作。

待办事项

• 根据论文初始化调制变形卷积的权重
• 将偏移量和调制参数的学习率设置为与其他层不同的值
• ScaledMNIST 实验结果
• 支持不同的步幅
• 支持变形分组
• DeepLab + DCNv2
• VOC 分割实验结果

需求

• Python 3.6
• PyTorch 1.0

使用方法

将常规卷积（如下方模型中的 conv2）替换为调制变形卷积：

class ConvNet(nn.Module):
  def __init__(self):
    self.relu = nn.ReLU(inplace=True)
    self.pool = nn.MaxPool2d((2, 2))
    self.avg_pool = nn.AdaptiveAvgPool2d(1)

    self.conv1 = nn.Conv2d(3, 32, 3, padding=1)
    self.bn1 = nn.BatchNorm2d(32)
    self.conv2 = nn.DeformConv2d(32, 64, 3, padding=1, modulation=True)
    self.bn2 = nn.BatchNorm2d(64)

    self.fc = nn.Linear(64, 10)

  def forward(self, x):
    x = self.relu(self.bn1(self.conv1(x)))
    x = self.pool(x)
    x = self.relu(self.bn2(self.conv2(x)))

    x = self.avg_pool(x)
    x = x.view(x.shape[0], -1)
    x = self.fc(x)

    return x

训练

ScaledMNIST

ScaledMNIST 是随机缩放的 MNIST 数据集。

在 conv3~4 使用调制变形卷积：

python train.py --arch ScaledMNISTNet --deform True --modulation True --min-deform-layer 3

在 conv3~4 使用变形卷积：

python train.py --arch ScaledMNISTNet --deform True --modulation False --min-deform-layer 3

仅使用常规卷积：

python train.py --arch ScaledMNISTNet --deform False --modulation False

结果

ScaledMNIST

模型	准确率 (%)	损失
不使用 DCN	97.22	0.113
在 conv4 使用 DCN	98.60	0.049
在 conv3~4 使用 DCN	98.95	0.035
在 conv4 使用 DCNv2	98.45	0.058
在 conv3~4 使用 DCNv2	99.21	0.027

pytorch-deform-conv-v2 快速上手指南

本指南帮助中国开发者快速在 PyTorch 项目中集成 Deformable ConvNets v2 (Modulated Deformable Convolution)。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux / macOS (Windows 支持需自行验证编译环境)
• Python: 3.6+
• PyTorch: 1.0+
• CUDA: 建议安装与 PyTorch 版本匹配的 CUDA 以启用 GPU 加速

国内加速建议： 安装依赖时，推荐使用清华或阿里镜像源加速下载：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

由于该库包含自定义 CUDA 算子，通常需要通过源码编译安装。请克隆仓库并执行安装命令：

git clone https://github.com/ChunhuanLin/deform_conv_pytorch.git
cd deform_conv_pytorch

# 安装依赖并编译扩展模块
python setup.py build_ext --inplace

注：如果作为第三方库使用，请确保将编译后的 .so 文件所在目录加入 Python 路径，或直接在该目录下运行代码。

基本使用

将模型中的普通卷积层 (nn.Conv2d) 替换为可变形卷积层 (nn.DeformConv2d) 即可。以下是基于 ScaledMNIST 实验的最简使用示例：

import torch
import torch.nn as nn

class ConvNet(nn.Module):
  def __init__(self):
    super(ConvNet, self).__init__()
    self.relu = nn.ReLU(inplace=True)
    self.pool = nn.MaxPool2d((2, 2))
    self.avg_pool = nn.AdaptiveAvgPool2d(1)

    # 普通卷积层
    self.conv1 = nn.Conv2d(3, 32, 3, padding=1)
    self.bn1 = nn.BatchNorm2d(32)
    
    # 可变形卷积层 (v2)，开启 modulation 参数
    # 参数说明：in_channels, out_channels, kernel_size, padding, modulation=True
    self.conv2 = nn.DeformConv2d(32, 64, 3, padding=1, modulation=True)
    self.bn2 = nn.BatchNorm2d(64)

    self.fc = nn.Linear(64, 10)

  def forward(self, x):
    x = self.relu(self.bn1(self.conv1(x)))
    x = self.pool(x)
    
    # 前向传播时无需额外传入 offset，模块内部会自动学习
    x = self.relu(self.bn2(self.conv2(x)))

    x = self.avg_pool(x)
    x = x.view(x.shape[0], -1)
    x = self.fc(x)

    return x

# 实例化模型
model = ConvNet()
input_tensor = torch.randn(1, 3, 32, 32)
output = model(input_tensor)
print(output.shape)

训练命令参考

若需复现论文中的 ScaledMNIST 实验结果，可使用以下命令：

使用 Modulated Deformable Convolution (DCNv2):

python train.py --arch ScaledMNISTNet --deform True --modulation True --min-deform-layer 3

仅使用普通 Deformable Convolution (DCNv1):

python train.py --arch ScaledMNISTNet --deform True --modulation False --min-deform-layer 3

仅使用普通卷积 (Baseline):

python train.py --arch ScaledMNISTNet --deform False --modulation False