内卷化

正式实现了一种神经算子，如《内卷化：颠覆卷积在视觉识别中的固有特性》（CVPR'21）中所述。

作者：Duo Li、Jie Hu、Changhu Wang、Xiangtai Li、Qi She、Lei Zhu、Tong Zhang 和 Qifeng Chen

简而言之。 involution 是一种通用的神经基础模块，适用于不同视觉任务的各种深度学习模型。involution 在设计上融合了 卷积 和 自注意力 的优点，同时比 卷积 更高效、更有效，形式上又比 自注意力 更简单。

如果您认为我们的工作对您的研究有所帮助，请引用以下文献：

@InProceedings{Li_2021_CVPR,
    author = {Li, Duo and Hu, Jie and Wang, Changhu and Li, Xiangtai and She, Qi and Zhu, Lei and Zhang, Tong and Chen, Qifeng},
    title = {Involution: Inverting the Inherence of Convolution for Visual Recognition},
    booktitle = {IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
    month = {June},
    year = {2021}
}

快速入门

本仓库完全基于 OpenMMLab 工具链构建。对于每个具体任务，配置文件和模型文件都遵循与 mmcls、mmdet 和 mmseg 相同的目录结构，因此只需将其复制粘贴到相应位置即可开始使用。

例如，在评估检测器时：

git clone https://github.com/open-mmlab/mmdetection # 并完成安装

# 复制模型文件
cp det/mmdet/models/backbones/* mmdetection/mmdet/models/backbones
cp det/mmdet/models/necks/* mmdetection/mmdet/models/necks
cp det/mmdet/models/dense_heads/* mmdetection/mmdet/models/dense_heads
cp det/mmdet/models/roi_heads/* mmdetection/mmdet/models/roi_heads
cp det/mmdet/models/roi_heads/mask_heads/* mmdetection/mmdet/models/roi_heads/mask_heads
cp det/mmdet/models/utils/* mmdetection/mmdet/models/utils
cp det/mmdet/datasets/* mmdetection/mmdet/datasets

# 复制配置文件
cp det/configs/_base_/models/* mmdetection/configs/_base_/models
cp det/configs/_base_/schedules/* mmdetection/configs/_base_/schedules
cp det/configs/involution mmdetection/configs -r

# 评估检查点
cd mmdetection
bash tools/dist_test.sh ${CONFIG_FILE} ${CHECKPOINT_FILE} ${GPU_NUM} [--out ${RESULT_FILE}] [--eval ${EVAL_METRICS}]

更多详细指导，请参阅原始的 mmcls、mmdet 和 mmseg 教程。

目前，我们提供了一个基于 CuPy 的内存高效的内卷算子实现。请提前安装该库。此外，定制化的 CUDA 内核可以在硬件层面带来进一步的加速效果。欢迎社区对此提出任何贡献！

模型库

括号中标注了与卷积基线相比的参数量/FLOPs↓ 和性能↑。其中部分检查点是我们重新实现时得到的，其性能可能与论文中报告的结果略有差异。这些模型分别在 ImageNet 上使用 64 张 GPU、COCO 上使用 8 张 GPU 以及 Cityscapes 上使用 4 张 GPU 进行训练。

ImageNet上的图像分类

模型	参数量(M)	浮点运算次数(G)	Top-1 (%)	Top-5 (%)	配置	下载
RedNet-26	9.23(32.8%↓)	1.73(29.2%↓)	75.96	93.19	配置	模型 | 日志
RedNet-38	12.39(36.7%↓)	2.22(31.3%↓)	77.48	93.57	配置	模型 | 日志
RedNet-50	15.54(39.5%↓)	2.71(34.1%↓)	78.35	94.13	配置	模型 | 日志
RedNet-101	25.65(42.6%↓)	4.74(40.5%↓)	78.92	94.35	配置	模型 | 日志
RedNet-152	33.99(43.5%↓)	6.79(41.4%↓)	79.12	94.38	配置	模型 | 日志

在对以下下游任务进行微调之前，请下载ImageNet预训练的RedNet-50权重，并将det/configs/_base_/models/*.py或seg/configs/_base_/models/*.py中的pretrained参数设置为你本地的路径。

COCO 数据集上的目标检测与实例分割

Faster R-CNN

主干网络	颈部	头部	样式	学习率调度	参数量(M)	浮点运算量(G)	box AP	配置文件	下载
RedNet-50-FPN	卷积	卷积	PyTorch	1x	31.6(23.9%↓)	177.9(14.1%↓)	39.5(1.8↑)	配置文件	模型 | 日志
RedNet-50-FPN	involution	卷积	PyTorch	1x	29.5(28.9%↓)	135.0(34.8%↓)	40.2(2.5↑)	配置文件	模型 | 日志
RedNet-50-FPN	involution	involution	PyTorch	1x	29.0(30.1%↓)	91.5(55.8%↓)	39.2(1.5↑)	配置文件	模型 | 日志

Mask R-CNN

主干网络	颈部	头部	样式	学习率调度	参数量(M)	浮点运算量(G)	box AP	mask AP	配置文件	下载
RedNet-50-FPN	卷积	卷积	PyTorch	1x	34.2(22.6%↓)	224.2(11.5%↓)	39.9(1.5↑)	35.7(0.6↑)	配置文件	模型 | 日志
RedNet-50-FPN	involution	卷积	PyTorch	1x	32.2(27.1%↓)	181.3(28.5%↓)	40.8(2.4↑)	36.4(1.3↑)	配置文件	模型 | 日志
RedNet-50-FPN	involution	involution	PyTorch	1x	29.5(33.3%↓)	104.6(58.7%↓)	39.6(1.2↑)	35.1(0.0↑)	配置文件	模型 | 日志

RetinaNet

主干网络	颈部	样式	学习率调度	参数量(M)	浮点运算量(G)	box AP	配置文件	下载
RedNet-50-FPN	卷积	PyTorch	1x	27.8(26.3%↓)	210.1(12.2%↓)	38.2(1.6↑)	配置文件	模型 | 日志
RedNet-50-FPN	involution	PyTorch	1x	26.3(30.2%↓)	199.9(16.5%↓)	38.2(1.6↑)	配置文件	模型 | 日志

Cityscapes 数据集上的语义分割

方法	主干网络	颈部网络	裁剪尺寸	学习率调度	参数量(M)	浮点运算量(G)	mIoU	配置文件	下载
FPN	RedNet-50	卷积	512x1024	80000	18.5(35.1%↓)	293.9(19.0%↓)	78.0(3.6↑)	config	模型 | 日志
FPN	RedNet-50	张量卷积	512x1024	80000	16.4(42.5%↓)	205.2(43.4%↓)	79.1(4.7↑)	config	模型 | 日志
UPerNet	RedNet-50	卷积	512x1024	80000	56.4(15.1%↓)	1825.6(3.6%↓)	80.6(2.4↑)	config	模型 | 日志

Involution 快速上手指南

Involution 是一种通用的神经原语，旨在反转卷积的固有特性。它在设计上桥接了卷积（Convolution）与自注意力（Self-Attention），相比卷积更高效有效，形式上比自注意力更简洁。本项目基于 OpenMMLab 工具套件构建，支持图像分类、目标检测和实例分割等任务。

环境准备

在开始之前，请确保满足以下系统要求和依赖：

• 操作系统: Linux (推荐 Ubuntu 18.04+)
• Python: 3.7+
• PyTorch: 1.6.0+ (需匹配对应的 CUDA 版本)
• 核心依赖:
  • OpenMMLab 系列库 (mmcls, mmdetection, mmsegmentation)
  • CuPy: 本项目提供了基于 CuPy 的显存高效实现，必须预先安装。

提示：国内用户安装 CuPy 时，若官方源下载缓慢，可尝试使用预编译的 wheel 包或配置国内镜像源。

安装步骤

本项目并非独立的安装包，而是需要将代码文件集成到现有的 OpenMMLab 项目中。以下以目标检测框架 MMDetection 为例：

1. 克隆并安装 MMDetection

git clone https://github.com/open-mmlab/mmdetection
cd mmdetection
pip install -v -e .

2. 集成 Involution 代码

将本仓库中的模型定义、数据集处理和配置文件复制到 MMDetection 的对应目录中：

# 假设 involution 仓库已克隆在上一级目录或当前目录旁
# 复制模型骨干、颈部、头部等组件
cp -r ../involution/det/mmdet/models/* mmdet/models/

# 复制数据集处理逻辑
cp -r ../involution/det/mmdet/datasets/* mmdet/datasets/

# 复制配置文件
cp -r ../involution/det/configs/* configs/

(注：如果是用于分类 mmcls 或分割 mmseg 任务，请参考 README 中的路径规则复制到对应项目目录)

3. 安装 CuPy (如未安装)

pip install cupy-cuda11x  # 请根据你的 CUDA 版本选择对应的包，如 cuda102, cuda110 等

基本使用

1. 准备预训练权重

对于下游任务（如检测、分割），建议先下载在 ImageNet 上预训练的 RedNet-50 权重，并在配置文件中修改 pretrained 路径为本地绝对路径。

• 下载链接: RedNet-50 ImageNet Pretrained Weights

2. 模型评估示例

以下命令演示如何使用多 GPU 评估一个 Faster R-CNN + RedNet-50 模型：

cd mmdetection

# 语法：bash tools/dist_test.sh ${配置文件} ${检查点文件} ${GPU 数量} [--out 结果文件] [--eval 评估指标]

bash tools/dist_test.sh \
    configs/involution/faster_rcnn_red50_fpn_1x_coco.py \
    path/to/your/checkpoint.pth \
    8 \
    --eval bbox

3. 模型训练示例

训练流程与原生 MMDetection 完全一致：

bash tools/dist_train.sh \
    configs/involution/faster_rcnn_red50_fpn_1x_coco.py \
    8 \
    --work-dir work_dirs/involution_demo

关键配置说明

在配置文件（.py）中，你可以通过替换 neck 或 head 部分的类型来启用 Involution：

• Backbone: 使用 RedNet 系列（如 RedNet-50）。
• Neck/Head: 将标准的 FPN 或卷积层替换为 involution 模块，即可享受更低的参数量和 FLOPs。

更多详细用法（如自定义数据集、超参数调整）请参阅 MMDetection、MMClassification 或 MMSegmentation 的官方教程。