* 我们将项目名称由 ConvMAE 改为 MCMAE。

本仓库是 MCMAE：掩码卷积遇见掩码自编码器 的官方实现。目前包含以下任务的代码和模型：

ImageNet 预训练：参见 PRETRAIN.md。
ImageNet 微调：参见 FINETUNE.md。
目标检测：参见 DETECTION.md。
语义分割：参见 SEGMENTATION.md。
视频分类：参见 VideoConvMAE。

更新

2023年3月14日

MR-MCMAE（即 ConvMAE-v2）论文发布：先模仿再重建：通过特征模仿增强掩码自编码器。

2022年9月15日

论文被 NeurIPS 2022 接受。

2022年9月9日

ConvMAE-v2 的预训练检查点发布。

2022年8月21日

遵循官方 ViTDet 代码库的 Official-ConvMAE-Det 发布。

2022年6月8日

🚀FastConvMAE🚀：显著加速了预训练时间（从单卡 4000 小时缩短至 200 小时）。相关代码即将在 FastConvMAE 中发布。

2022年5月27日

1. 提供了支持 ImageNet-1K 预训练的代码。
2. 提供了支持语义分割的代码和模型。

2022年5月20日

更新了视频分类的结果。

2022年5月16日

提供了支持 COCO 目标检测和实例分割的代码和模型。

2022年5月11日

1. 提供了 ConvMAE 在 ImageNet-1K 上的预训练模型。
2. 提供了支持 ImageNet-1K 微调和线性探测的代码和模型。

2022年5月8日

预印本已在 arxiv 上公开。

简介

ConvMAE 框架表明，多尺度混合卷积-Transformer 架构可以通过掩码自编码方案学习更具判别性的表征。

• 我们提出了强大而高效的自监督框架 ConvMAE，其实现简单，但在下游任务中表现出色。
• ConvMAE 自然生成层次化表征，在目标检测和分割任务上表现优异。
• ConvMAE-Base 在 ImageNet 微调精度上比 MAE-Base 提高了 1.4%。 在使用 Mask-RCNN 进行目标检测时，ConvMAE-Base 采用 25 个 epoch 的训练计划，达到了 53.2 的 box AP 和 47.1 的 mask AP；而 MAE-Base 则需要 100 个 epoch 才能达到 50.3 的 box AP 和 44.9 的 mask AP。在 ADE20K 数据集上使用 UperNet 时，ConvMAE-Base 的 mIoU 比 MAE-Base 高出 3.6（48.1 对 51.7）。

ImageNet-1K 预训练

下表提供了论文中使用的预训练检查点和日志。

	ConvMAE-Base
预训练检查点	下载
日志	下载

以下结果适用于 ConvMAE-v2（在 ImageNet-1k 上预训练了 200 个 epoch）。

模型	预训练检查点	在 ImageNet-1k 上的微调准确率
ConvMAE-v2-Small	下载	83.6
ConvMAE-v2-Base	下载	85.7
ConvMAE-v2-Large	下载	86.8
ConvMAE-v2-Huge	下载	88.0

ImageNet-1K 主要结果

模型	参数量(M)	监督方式	编码器比例	预训练 epoch 数	微调 top-1 准确率(%)	线性探测 top-1 准确率(%)	微调日志/权重	线性探测日志/权重
BEiT	88	DALLE	100%	300	83.0	37.6	-	-
MAE	88	RGB	25%	1600	83.6	67.8	-	-
SimMIM	88	RGB	100%	800	84.0	56.7	-	-
MaskFeat	88	HOG	100%	300	83.6	N/A	-	-
data2vec	88	RGB	100%	800	84.2	N/A	-	-
ConvMAE-B	88	RGB	25%	1600	85.0	70.9	日志/权重

COCO 主要结果

Mask R-CNN

模型	预训练	预训练 epoch 数	微调 epoch 数	参数量(M)	FLOPs(T)	box AP	mask AP	日志/权重
Swin-B	IN21K 带标签	90	36	109	0.7	51.4	45.4	-
Swin-L	IN21K 带标签	90	36	218	1.1	52.4	46.2	-
MViTv2-B	IN21K 带标签	90	36	73	0.6	53.1	47.4	-
MViTv2-L	IN21K 带标签	90	36	239	1.3	53.6	47.5	-
Benchmarking-ViT-B	IN1K 无标签	1600	100	118	0.9	50.4	44.9	-
Benchmarking-ViT-L	IN1K 无标签	1600	100	340	1.9	53.3	47.2	-
ViTDet	IN1K 无标签	1600	100	111	0.8	51.2	45.5	-
MIMDet-ViT-B	IN1K 无标签	1600	36	127	1.1	51.5	46.0	-
MIMDet-ViT-L	IN1K 无标签	1600	36	345	2.6	53.3	47.5	-
ConvMAE-B	IN1K 无标签	1600	25	104	0.9	53.2	47.1	日志/权重

ADE20K 主要结果

UperNet

模型	预训练数据	预训练轮数	微调迭代次数	参数量(M)	FLOPs(T)	mIoU	日志/权重
DeiT-B	IN1K 有标签数据	300	16K	163	0.6	45.6	-
Swin-B	IN1K 有标签数据	300	16K	121	0.3	48.1	-
MoCo V3	IN1K 数据集	300	16K	163	0.6	47.3	-
DINO	IN1K 数据集	400	16K	163	0.6	47.2	-
BEiT	IN1K+DALLE 数据集	1600	16K	163	0.6	47.1	-
PeCo	IN1K 数据集	300	16K	163	0.6	46.7	-
CAE	IN1K+DALLE 数据集	800	16K	163	0.6	48.8	-
MAE	IN1K 数据集	1600	16K	163	0.6	48.1	-
ConvMAE-B	IN1K 数据集	1600	16K	153	0.6	51.7	日志/权重

Kinetics-400 上的主要结果

模型	预训练轮数	微调轮数	参数量(M)	Top1	Top5	日志/权重
VideoMAE-B	200	100	87	77.8
VideoMAE-B	800	100	87	79.4
VideoMAE-B	1600	100	87	79.8
VideoMAE-B	1600	100 (带重复增强)	87	80.7	94.7
SpatioTemporalLearner-B	800	150 (带重复增强)	87	81.3	94.9
VideoConvMAE-B	200	100	86	80.1	94.3	即将发布
VideoConvMAE-B	800	100	86	81.7	95.1	即将发布
VideoConvMAE-B-MSD	800	100	86	82.7	95.5	即将发布

Something-Something V2 上的主要结果

模型	预训练轮数	微调轮数	参数量(M)	Top1	Top5	日志/权重
VideoMAE-B	200	40	87	66.1
VideoMAE-B	800	40	87	69.3
VideoMAE-B	2400	40	87	70.3
VideoConvMAE-B	200	40	86	67.7	91.2	即将发布
VideoConvMAE-B	800	40	86	69.9	92.4	即将发布
VideoConvMAE-B-MSD	800	40	86	70.7	93.0	即将发布

快速入门

前提条件

• Linux 系统
• Python 3.7+
• CUDA 10.2+
• GCC 5+

训练与评估

• 预训练请参阅 PRETRAIN.md。
• 预训练模型的微调及线性探测请参阅 FINETUNE.md。
• 使用预训练主干网络进行目标检测，请参阅 DETECTION.md，以在 Mask RCNN 上应用。
• 使用预训练主干网络进行语义分割，请参阅 SEGMENTATION.md，以在 UperNet 上应用。
• 视频分类请参阅 VideoConvMAE。

可视化

致谢

本项目中的预训练和微调工作基于 DeiT 和 MAE。目标检测和语义分割部分分别基于 MIMDet 和 MMSegmentation。感谢他们的杰出贡献。

许可证

ConvMAE 采用 MIT 许可证 发布。

引用

@article{gao2022convmae,
  title={ConvMAE: Masked Convolution Meets Masked Autoencoders},
  author={Gao, Peng and Ma, Teli and Li, Hongsheng and Dai, Jifeng and Qiao, Yu},
  journal={arXiv preprint arXiv:2205.03892},
  year={2022}
}

ConvMAE (MCMAE) 快速上手指南

ConvMAE（现更名为 MCMAE）是一个强大的自监督学习框架，结合了掩码卷积与掩码自动编码器。它能生成层次化特征表示，在图像分类、目标检测、语义分割及视频分类等下游任务中表现优异。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux
• Python: 3.7 或更高版本
• CUDA: 10.2 或更高版本
• 编译器: GCC 5 或更高版本
• 深度学习框架: PyTorch (建议版本需与 CUDA 匹配，参考原项目依赖)

安装步骤

虽然 README 未提供单一的 pip install 命令，但基于其依赖库（DeiT, MAE, MMDetection, MMSegmentation），推荐按以下步骤构建环境：

1. 克隆代码仓库

   git clone https://github.com/Alpha-VL/ConvMAE.git
   cd ConvMAE
   

2. 创建虚拟环境并安装基础依赖

   conda create -n convmae python=3.8 -y
   conda activate convmae
   
   # 安装 PyTorch 和 torchvision (请根据您的 CUDA 版本调整，此处以 10.2 为例)
   pip install torch==1.9.0+cu102 torchvision==0.10.0+cu102 -f https://download.pytorch.org/whl/torch_stable.html
   
   # 安装其他核心依赖
   pip install timm==0.4.12 einops chardet
   

3. 安装下游任务依赖（可选）

   • 目标检测: 需安装 MMDetection (参考 DET/ 目录要求)。
   • 语义分割: 需安装 MMSegmentation (参考 SEG/ 目录要求)。

   提示: 国内用户可使用清华源加速安装： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

ConvMAE 的核心流程分为 预训练 (Pretrain) 和 微调 (Finetune)。以下是基于 ImageNet-1K 的最简使用示例。

1. 下载预训练模型

您可以直接下载官方提供的预训练权重（ConvMAE-Base）：

• 下载地址: Google Drive Link
• 将下载的文件重命名为 pretrain_convmae_base.pth 并放入项目根目录或指定文件夹。

2. 图像分类微调 (Finetuning)

使用预训练权重在 ImageNet 上进行微调。具体配置请参考 FINETUNE.md，典型命令如下：

python main_finetune.py \
    --model convmae_base_patch16 \
    --finetune ./pretrain_convmae_base.pth \
    --batch_size 64 \
    --data_path /path/to/imagenet \
    --output_dir ./output_finetune \
    --epochs 100

3. 目标检测 (Object Detection)

若需进行目标检测（如 Mask R-CNN），需进入 DET 目录并使用 MMDetection 配置运行：

cd DET
# 示例：使用 ConvMAE Backbone 训练 Mask R-CNN
python tools/train.py configs/convmae/mask_rcnn_convmae_base_fpn_1x_coco.py

4. 语义分割 (Semantic Segmentation)

若需进行语义分割（如 UperNet），需进入 SEG 目录：

cd SEG
# 示例：在 ADE20K 数据集上训练
python train.py --config configs/upernet_convmae_base_ade20k.py

注意: 详细的数据集准备、超参数设置及分布式训练命令，请务必查阅项目中的 PRETRAIN.md, FINETUNE.md, DETECTION.md 和 SEGMENTATION.md 文档。