通用E(2)等变可导CNN

文档 | 实验 | 论文 | 加布里埃莱的学位论文 | 莫里斯的学位论文 | 新的escnn库

---

请查看我们新的escnn库，它将e2cnn扩展到了更广泛的等变群类。

尽管我们仍会为这个旧版本提供一定支持， 但该库已被弃用，我们计划逐步停止维护，转而使用更新的版本**escnn。 请注意，escnn*已经包含了e2cnn*的所有功能，并且还有更多新特性。 您可以在新版本中找到主要差异的简要总结这里。

---

---

e2cnn是用于等变深度学习的PyTorch扩展。

等变神经网络保证其特征空间在输入变换下的特定变换行为。例如，经典的卷积神经网络（CNN）在设计上对其输入的平移具有等变性。 这意味着图像的平移会导致网络特征图的相应平移。本库提供了在图像平面$\mathbb{R}^2$的所有等距变换E(2)下——即平移、旋转和反射——都具有等变性的神经网络模块实现。 与传统CNN不同，E(2)等变模型能够保证在这些变换上的泛化能力，因此数据效率更高。

E(2)等变可导CNN的特征空间被定义为特征场的空间，其特点是由它们在旋转和反射下的变换规律所决定。典型的例子包括标量场（如灰度图像或温度场）或矢量场（如光流或电磁场）。

用户无需指定通道数，而是需要明确字段的类型及其多重性来定义特征空间。给定指定的输入和输出特征空间，我们的R2conv模块会实例化两者之间最通用的卷积映射。 我们的库还提供了许多其他处理特征场的等变操作，包括非线性层、生成不变特征的映射、批归一化和丢弃层等。特征场由GeometricTensor对象表示，它封装了一个带有相应变换规律的torch.Tensor。所有等变操作都会进行动态类型检查，以确保对特征场的几何处理是合理的。

E(2)等变可导CNN在一个统一的框架中整合并推广了多种等距变换等变的CNN。示例包括：

• 群等变卷积网络
• 谐波网络：深度平移和旋转等变性
• 可导CNN
• 旋转等变矢量场网络
• 学习用于旋转等变CNN的可导滤波器
• HexaConv
• 用于医学图像分析的旋转变换协变卷积网络

更多细节请参阅我们在NeurIPS 2019发表的论文通用E(2)等变可导CNN。

该库还支持等变可导偏微分算子，如用于等变神经网络的可导偏微分算子中所述。

---

该库由五个子包组成，每个子包具有不同的高级功能：

组件	描述
e2cnn.group	实现了群和表示论的基本概念
e2cnn.kernels	求解等变卷积核的空间
e2cnn.diffops	求解等变微分算子的空间
e2cnn.gspaces	定义图像平面及其对称性
e2cnn.nn	包含用于构建深度神经网络的等变模块

---

演示

由于 E(2) 可导向 CNN 在旋转和反射下具有等变性，因此其推理结果与图像的方向选择无关。 下方的可视化演示了这一观点：我们将旋转后的图像输入到一个随机初始化的 E(2) 可导向 CNN 中（左图）。 中间的图表展示了经过几层网络后，特征空间的等变变换，该特征空间由一个标量场（颜色编码）和一个向量场（箭头）组成。 在右图中，我们通过将响应场反向旋转，将其转换为随动参考系（稳定视图）。

在随动参考系中特征的不变性从实验上验证了 E(2) 可导向 CNN 的旋转等变性。 请注意，响应的波动是由于在像素网格上对图像进行采样所导致的离散化伪影，这使得精确的连续旋转无法实现。

为了进行对比，我们在下方展示了传统 CNN 在不同图像方向下的特征图响应。

由于传统 CNN 不具备旋转等变性，其响应会随着图像方向的不同而随机变化。这阻碍了 CNN 自动地在不同参考系之间泛化已学习的模式。

实验结果

E(2) 可导向卷积可以作为传统 CNN 中使用的常规卷积的直接替代品。 在保持相同的训练设置且未进行超参数调优的情况下，与 CNN 基线相比，性能显著提升（数值为测试误差，以百分比表示）：

模型	CIFAR-10	CIFAR-100	STL-10
CNN 基线	2.6   ± 0.1	17.1   ± 0.3	12.74 ± 0.23
E(2)-CNN *	2.39 ± 0.11	15.55 ± 0.13	10.57 ± 0.70
E(2)-CNN	2.05 ± 0.03	14.30 ± 0.09	9.80 ± 0.40

没有 * 的模型是为了公平比较而设计的，其参数数量大致与基线保持一致；而带有 * 的模型则保留了通道数，从而保持了计算量。 更多细节请参阅我们的论文。

入门指南

e2cnn 使用起来非常简单，因为它提供了一个高层次的用户界面，抽象掉了群论和表示论中的大部分复杂细节。 以下代码片段展示了如何从一张 RGB 图像执行一次等变卷积，生成 10 个 正则 特征场（对应于 群卷积）。

from e2cnn import gspaces                                          #  1
from e2cnn import nn                                               #  2
import torch                                                       #  3
                                                                   #  4
r2_act = gspaces.Rot2dOnR2(N=8)                                    #  5
feat_type_in  = nn.FieldType(r2_act,  3*[r2_act.trivial_repr])     #  6
feat_type_out = nn.FieldType(r2_act, 10*[r2_act.regular_repr])     #  7
                                                                   #  8
conv = nn.R2Conv(feat_type_in, feat_type_out, kernel_size=5)       #  9
relu = nn.ReLU(feat_type_out)                                      # 10
                                                                   # 11
x = torch.randn(16, 3, 32, 32)                                     # 12
x = nn.GeometricTensor(x, feat_type_in)                            # 13
                                                                   # 14
y = relu(conv(x))                                                  # 15

第 5 行指定了网络应在其上保持等变性的图像平面 $\mathbb{R}^2$ 上的对称群作用。我们选择了 循环群 C₈,它描述了以 2π/8 为步长的离散旋转。 第 6 行指定了输入特征场的类型。RGB 图像的三个颜色通道被视为三个独立的标量场，它们按照 C₈ 的 平凡表示 进行变换。 同样地，第 7 行指定了输出特征空间由 10 个特征场组成，这些特征场按照 C₈ 的 正则表示 进行变换。 然后，通过将输入和输出类型以及卷积核大小传递给构造函数（第 9 行），实例化了 C₈ 等变卷积。 第 10 行实例化了一个等变的 ReLU 非线性激活函数，它将作用于输出特征场，因此传入了输出特征类型的参数。

第 12 和 13 行生成了一组随机的 RGB 图像小批量，并将其包装进 nn.GeometricTensor 中，以便将其与正确的场类型相关联。等变模块在第 15 行处理这个几何张量。每个模块都会检查传入的几何张量是否符合预期的变换规则。

由于在测试时无需再更新参数，因此在训练完成后，任何等变网络都可以转换为纯 PyTorch 模型，且不会比传统 CNN 增加额外的计算开销。当前代码支持通过 .export() 方法自动转换一些常用模块；更多详情请参阅文档。

关于 e2cnn 基本功能的动手教程，请参阅 introduction.ipynb。 用于在 旋转 MNIST 数据集上训练和评估简单模型的代码可在 model.ipynb 中找到。

更复杂的等变 Wide Resnet 模型已在 e2wrn.py 中实现。要尝试一个在反射下等变的模型，请运行：

cd examples
python e2wrn.py

如果需要同时在反射以及 90 度整数倍旋转下等变的版本，可以运行：

python e2wrn.py --rot90

依赖项

该库基于 Python 3.7。

torch>=1.1
numpy
scipy

可选依赖：

pymanopt
autograd

以下包

sympy
rbf

是使用可导向微分算子所必需的。

如需 Python 3.6 兼容版本，请查看分支 legacy_py3.6。

安装

您可以安装最新的 release，命令如下：

pip install e2cnn

或者，您也可以克隆此仓库并手动安装：

pip install git+https://github.com/QUVA-Lab/e2cnn

注意：rbf 依赖项（用于使用微分算子）无法自动安装，因为 PyPI 不支持直接依赖（详见 这里）。您可以按照 这些 指导手动安装 rbf。

引用

本库的开发是我们论文《General E(2)-Equivariant Steerable CNNs》（arXiv:1911.08251）工作的一部分。如果您使用我们的代码，请引用该工作：

@inproceedings{e2cnn,
    title={{General E(2)-Equivariant Steerable CNNs}},
    author={Weiler, Maurice and Cesa, Gabriele},
    booktitle={Conference on Neural Information Processing Systems (NeurIPS)},
    year={2019},
}

可导向偏微分算子的实现则属于论文《Steerable Partial Differential Operators for Equivariant Neural Networks》（arXiv:2106.10163）的工作内容。如果您在自己的工作中使用了这部分代码，请引用该论文：

@inproceedings{jenner2022steerable,
    title={Steerable Partial Differential Operators for Equivariant Neural Networks},
    author={Erik Jenner and Maurice Weiler},
    booktitle={International Conference on Learning Representations},
    year={2022},
    url={https://openreview.net/forum?id=N9W24a4zU}
}

欢迎随时 联系我们。

许可证

e2cnn 采用 BSD Clear 许可证发布。详情请参阅 LICENSE 文件。

e2cnn 快速上手指南

e2cnn 是一个基于 PyTorch 的扩展库，用于构建 E(2)-等变（Equivariant）可操纵卷积神经网络。与传统 CNN 仅对平移具有等变性不同，e2cnn 保证网络特征空间在输入图像的平移、旋转和反射变换下具有确定的变换行为。这使得模型在处理具有方向变化的数据时更加高效且泛化能力更强。

注意：该库目前已进入维护模式，官方推荐使用其继任者 escnn，后者支持更广泛的等变群并包含 e2cnn 的所有功能。若需长期项目或更复杂需求，建议直接考察 escnn。

---

环境准备

系统要求

• 操作系统：Linux, macOS, Windows (WSL 推荐)
• Python 版本：3.6 - 3.9 (推荐 3.8+)
• PyTorch 版本：>= 1.4.0 (推荐最新稳定版)

前置依赖

确保已安装 PyTorch。建议使用 conda 或 pip 预先配置好 CUDA 环境（如需 GPU 加速）。

# 检查 PyTorch 是否安装
python -c "import torch; print(torch.__version__)"

---

安装步骤

可以通过 pip 直接安装最新版本：

pip install e2cnn

如果下载速度较慢，可以使用国内镜像源加速安装：

pip install e2cnn -i https://pypi.tuna.tsinghua.edu.cn/simple

或者使用阿里云镜像：

pip install e2cnn -i https://mirrors.aliyun.com/pypi/simple/

安装完成后，验证安装是否成功：

python -c "import e2cnn; print(e2cnn.__version__)"

---

基本使用

e2cnn 提供了高层接口，屏蔽了复杂的群论细节。以下示例展示如何构建一个简单的等变卷积层，将 RGB 图像转换为 10 个正则特征场（Regular Feature Fields）。

代码示例

from e2cnn import gspaces                                          # 1. 导入几何空间模块
from e2cnn import nn                                               # 2. 导入神经网络模块
import torch                                                       # 3. 导入 PyTorch

# 5. 定义对称群作用：选择 C8 循环群（离散旋转，步长为 2π/8）
r2_act = gspaces.Rot2dOnR2(N=8)

# 6. 定义输入特征类型：RGB 图像视为 3 个标量场（平凡表示）
feat_type_in  = nn.FieldType(r2_act,  3*[r2_act.trivial_repr])

# 7. 定义输出特征类型：10 个正则表示的特征场
feat_type_out = nn.FieldType(r2_act, 10*[r2_act.regular_repr])

# 9. 实例化等变卷积层 (核大小 5x5)
conv = nn.R2Conv(feat_type_in, feat_type_out, kernel_size=5)

# 10. 实例化等变 ReLU 激活函数
relu = nn.ReLU(feat_type_out)

# 12. 生成随机小批量 RGB 图像 (Batch=16, Channels=3, H=32, W=32)
x = torch.randn(16, 3, 32, 32)

# 13. 将普通 Tensor 包装为 GeometricTensor，关联其变换法则
x = nn.GeometricTensor(x, feat_type_in)

# 15. 执行前向传播：卷积 -> 激活
y = relu(conv(x))

print(y.shape)  # 输出经过等变处理后的特征图形状

关键点说明

1. 群定义 (gspaces)：通过 Rot2dOnR2(N=8) 定义平面上的旋转对称性。
2. 特征类型 (FieldType)：不再单纯指定通道数，而是指定场的类型（如标量、向量）及其重数。
   • trivial_repr：标量场（如灰度图），旋转不改变数值。
   • regular_repr：正则场，随群元素变化而置换。
3. 几何张量 (GeometricTensor)：所有等变操作都作用于该对象，它内部包含了数据及其变换规则，并进行动态类型检查以确保几何一致性。

模型导出（可选）

训练完成后，可将等变网络导出为标准 PyTorch 模型，推理时无额外计算开销：

# 假设 model 是已训练好的等变网络
standard_model = model.export()

更多高级用法（如构建完整网络、使用微分算子等）请参考官方 Documentation 或仓库中的 examples/introduction.ipynb 教程。