:star: MMRazor for Large Models 现已发布！请参阅 MMRazorLarge

简介

MMRazor 是一个用于模型瘦身和 AutoML 的模型压缩工具包，包含四种主流技术：

• 神经架构搜索 (NAS)
• 剪枝
• 知识蒸馏 (KD)
• 量化

它是 OpenMMLab 项目的一部分。

主要特性：

• 兼容性

  由于 OpenMMLab 的架构设计相似，且瘦身算法与视觉任务解耦，MMRazor 可以轻松应用于 OpenMMLab 中的各种项目。

• 灵活性

  不同的算法，如 NAS、剪枝和 KD，可以以即插即用的方式组合，构建更强大的系统。

• 便捷性

  通过更好的模块化设计，开发者只需少量代码，甚至仅修改配置文件，即可实现新的模型压缩算法。

关于 MMRazor 的设计与实现，请参阅 教程 获取更多详情。

最新更新

默认分支现已切换为 main，该分支上的代码已升级至 v1.0.0。旧的 master 分支代码现位于 0.x 分支

MMRazor v1.0.0 于 2023 年 4 月 24 日发布，相较于 1.0.0rc2 的主要更新包括：

1. MMRazor 量化功能正式发布。
2. 新增名为 GroupFisher 的剪枝算法。
3. 支持使用 MMRazor 对 rtmdet 进行蒸馏。

欲了解更多关于 MMRazor 1.0 的更新内容，请参阅 Changelog！

基准测试与模型库

结果和模型可在 模型库 中找到。

支持的算法：

神经架构搜索

• DARTS(ICLR'2019)

• DetNAS(NeurIPS'2019)

• SPOS(ECCV'2020)

剪枝

• AutoSlim(NeurIPS'2019)

• L1范数

• Group Fisher

• DMCP

知识蒸馏

• CWD(ICCV'2021)

• WSLD(ICLR'2021)

• ABLoss

• BYOT

• DAFL

• DFAD

• DKD

• Factor Transfer

• FitNets

• KD

• OFD

• RKD

• ZSKT

• FBKD

量化

• PTQ

• QAT

• LSQ

安装

MMRazor 依赖于 PyTorch、MMCV 和 MMEngine。

详细安装说明请参阅 installation.md。

使用指南

有关 MMRazor 的基本用法，请参阅 用户指南。此外，还有 高级指南：

贡献

我们感谢所有为改进 MMRazor 所做的贡献。请参阅 CONTRUBUTING.md 以获取贡献指南。

致谢

MMRazor 是一个开源项目，由来自不同高校和公司的研究人员与工程师共同贡献而成。我们感谢所有实现其方法或添加新功能的贡献者，以及提供宝贵反馈的用户。我们希望该工具箱和基准测试能够为不断壮大的研究社区服务，提供一个灵活的工具集，用于复现现有方法并开发新的模型压缩技术。

引用

如果您在研究中发现本项目有所帮助，请考虑引用：

@misc{2021mmrazor,
    title={OpenMMLab 模型压缩工具箱及基准},
    author={MMRazor 贡献者},
    howpublished = {\url{https://github.com/open-mmlab/mmrazor}},
    year={2021}
}

许可证

本项目采用 Apache 2.0 许可证 发布。

OpenMMLab 中的其他项目

• MMCV：OpenMMLab 面向计算机视觉的基础库。
• MIM：MIM 用于安装 OpenMMLab 的相关软件包。
• MMClassification：OpenMMLab 图像分类工具箱及基准。
• MMDetection：OpenMMLab 目标检测工具箱及基准。
• MMDetection3D：OpenMMLab 下一代通用 3D 物体检测平台。
• MMRotate：OpenMMLab 旋转目标检测工具箱及基准。
• MMYOLO：OpenMMLab YOLO 系列工具箱及基准。
• MMSegmentation：OpenMMLab 语义分割工具箱及基准。
• MMOCR：OpenMMLab 文本检测、识别与理解工具箱。
• MMPose：OpenMMLab 人体姿态估计工具箱及基准。
• MMHuman3D：OpenMMLab 3D 人体参数化模型工具箱及基准。
• MMSelfSup：OpenMMLab 自监督学习工具箱及基准。
• MMRazor：OpenMMLab 模型压缩工具箱及基准。
• MMFewShot：OpenMMLab 少样本学习工具箱及基准。
• MMAction2：OpenMMLab 下一代动作理解工具箱及基准。
• MMTracking：OpenMMLab 视频感知工具箱及基准。
• MMFlow：OpenMMLab 光流计算工具箱及基准。
• MMEditing：OpenMMLab 图像与视频编辑工具箱。
• MMGeneration：OpenMMLab 图像与视频生成模型工具箱。
• MMDeploy：OpenMMLab 模型部署框架。

MMRazor 快速上手指南

MMRazor 是 OpenMMLab 推出的模型压缩工具库，支持神经架构搜索 (NAS)、剪枝 (Pruning)、知识蒸馏 (KD) 和量化 (Quantization) 四大主流技术。它可与 MMClassification、MMDetection 等 OpenMMLab 项目无缝集成。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐), Windows, macOS
• Python: 3.7 及以上版本
• PyTorch: 1.6 及以上版本
• CUDA: 可选，用于 GPU 加速（需与 PyTorch 版本匹配）

前置依赖: MMRazor 强依赖以下 OpenMMLab 核心库，安装前请确保已正确安装：

• MMEngine
• MMCV (Full version)

国内用户提示: 建议使用国内镜像源加速 Python 包下载。

• PyPI 镜像: https://pypi.tuna.tsinghua.edu.cn/simple
• Conda 镜像: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/

安装步骤

推荐使用 pip 进行安装。如果您尚未安装 PyTorch，请先前往 PyTorch 官网 根据您的环境安装对应版本。

1. 安装 MMEngine 和 MMCV

pip install -U openmim
mim install mmengine
mim install "mmcv>=2.0.0"

2. 安装 MMRazor

您可以直接从 PyPI 安装稳定版：

pip install mmrazor

或者从源码安装以获取最新功能：

git clone https://github.com/open-mmlab/mmrazor.git
cd mmrazor
pip install -v -e .

国内加速: 若 pip 下载缓慢，可添加清华源： pip install mmrazor -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 验证安装

运行以下命令检查是否安装成功：

import mmrazor
print(mmrazor.__version__)

基本使用

MMRazor 的核心操作通过配置文件驱动。以下是一个基于知识蒸馏 (Knowledge Distillation) 的最简使用示例，展示如何修改配置并启动训练。

1. 准备配置文件

假设您想对图像分类模型进行知识蒸馏。您可以复制现有的配置文件作为模板：

mkdir configs/my_distill
cp configs/distill/mmcls/kd/kd_resnet50_resnet18_8xb32_in1k.py configs/my_distill/

2. 修改配置 (可选)

编辑 configs/my_distill/kd_resnet50_resnet18_8xb32_in1k.py，调整数据路径或超参数。MMRazor 的配置结构清晰，通常只需修改 data_root 或 model 部分。

3. 启动训练

使用 tools/train.py 脚本启动训练任务。以下命令使用 8 张 GPU 进行训练：

python tools/train.py configs/my_distill/kd_resnet50_resnet18_8xb32_in1k.py --launcher pytorch --gpus 8

如果是单卡训练：

python tools/train.py configs/my_distill/kd_resnet50_resnet18_8xb32_in1k.py

4. 模型推理

训练完成后，使用 tools/test.py 评估模型性能：

python tools/test.py configs/my_distill/kd_resnet50_resnet18_8xb32_in1k.py work_dirs/kd_resnet50_resnet18_8xb32_in1k/epoch_100.pth

---

更多高级用法（如 NAS 搜索策略自定义、剪枝细粒度控制、量化感知训练等），请参考 官方文档。