亮点

MMDeploy 1.x 已发布，该版本适配了 OpenMMLab 2.0 的上游代码库。使用时请务必对齐版本号。

默认分支已从 master 切换至 main。MMDeploy 0.x（master）将被废弃，未来新功能仅会添加到 MMDeploy 1.x（main）中。

mmdeploy	mmengine	mmcv	mmdet	others
0.x.y	-	<=1.x.y	<=2.x.y	0.x.y
1.x.y	0.x.y	2.x.y	3.x.y	1.x.y

deploee 提供超过 2,300 种 AI 模型，支持 ONNX、NCNN、TRT 和 OpenVINO 格式。deploee 内置真实硬件设备列表，允许用户将 Torch 模型转换为任意目标推理格式，以进行性能分析。

简介

MMDeploy 是一个开源的深度学习模型部署工具集，它是 OpenMMLab 项目的一部分。

主要特性

完全支持 OpenMMLab 模型

目前支持的代码库和模型如下，未来还将继续增加：

• mmpretrain
• mmdet
• mmseg
• mmagic
• mmocr
• mmpose
• mmdet3d
• mmrotate
• mmaction2

支持多种推理后端

支持的设备-平台-推理后端矩阵如下，未来还将兼容更多选项。

基准测试结果可参见 这里。

高效且可扩展的 C/C++ SDK 框架

SDK 中的各种模块均可扩展，例如用于图像处理的 Transform、用于神经网络推理的 Net、用于后处理的 Module 等等。

文档

请阅读 getting_started，了解 MMDeploy 的基本用法。我们还提供了以下教程：

• 构建
  • 使用 Docker 构建
  • 使用脚本构建
  • 为 Linux 构建
  • 为 macOS 构建
  • 为 Win10 构建
  • 为 Android 构建
  • 为 Jetson 构建
  • 为 SNPE 构建
  • 针对 aarch64 的交叉编译
• 用户指南
  • 如何转换模型
  • 如何编写配置文件
  • 如何对模型进行性能分析
  • 如何量化模型
  • 实用工具
• 开发者指南
  • 架构
  • 如何支持新模型
  • 如何支持新后端
  • 如何划分模型
  • 如何测试重写的模型
  • 如何测试后端算子
  • 如何进行回归测试
• 自定义后端算子
  • ncnn
  • ONNXRuntime
  • tensorrt
• 常见问题解答
• 贡献指南

基准测试与模型库

您可以在 这里 找到支持的模型，以及它们在 基准测试 中的表现。

贡献

我们非常感谢所有对 MMDeploy 的贡献。请参阅 .github/CONTRIBUTING.md 获取贡献指南。

致谢

我们衷心感谢以下团队对 MMDeploy 的贡献：

• OpenPPL
• OpenVINO
• ncnn

引用

如果您在研究中发现本项目有用，请考虑引用：

@misc{=mmdeploy,
    title={OpenMMLab 的模型部署工具箱},
    author={MMDeploy 贡献者},
    howpublished = {\url{https://github.com/open-mmlab/mmdeploy}},
    year={2021}
}

许可证

本项目采用 Apache 2.0 许可证 发布。

OpenMMLab 中的项目

• MMEngine：OpenMMLab 用于训练深度学习模型的基础库。
• MMCV：OpenMMLab 用于计算机视觉的基础库。
• MMPretrain：OpenMMLab 的预训练工具箱和基准。
• MMagic：OpenMMLab 高级、生成式和智能创作工具箱。
• MMDetection：OpenMMLab 的检测工具箱和基准。
• MMDetection3D：OpenMMLab 下一代通用 3D 物体检测平台。
• MMYOLO：OpenMMLab YOLO 系列工具箱和基准。
• MMRotate：OpenMMLab 旋转目标检测工具箱和基准。
• MMTracking：OpenMMLab 视频感知工具箱和基准。
• MMSegmentation：OpenMMLab 语义分割工具箱和基准。
• MMOCR：OpenMMLab 文本检测、识别和理解工具箱。
• MMPose：OpenMMLab 姿态估计工具箱和基准。
• MMHuman3D：OpenMMLab 3D 人体参数化模型工具箱和基准。
• MMFewShot：OpenMMLab 少样本学习工具箱和基准。
• MMAction2：OpenMMLab 下一代动作理解工具箱和基准。
• MMFlow：OpenMMLab 光流工具箱和基准。
• MMDeploy：OpenMMLab 模型部署框架。
• MMRazor：OpenMMLab 模型压缩工具箱和基准。
• MIM：MIM 用于安装 OpenMMLab 的软件包。
• Playground：一个汇集和展示基于 OpenMMLab 构建的精彩项目的中心平台。

MMDeploy 快速上手指南

MMDeploy 是 OpenMMLab 推出的开源深度学习模型部署工具集，支持将 OpenMMLab 系列算法模型转换为多种推理后端格式（如 ONNX, TensorRT, NCNN, OpenVINO 等），并提供高效的 C/C++ SDK。

环境准备

在开始之前，请确保满足以下系统要求和依赖版本对齐。MMDeploy 1.x 版本需配合 OpenMMLab 2.0 系列代码库使用。

版本对齐要求

组件	MMDeploy 0.x (已弃用)	MMDeploy 1.x (推荐)
mmdeploy	0.x.y	1.x.y
mmengine	-	0.x.y
mmcv	<= 1.x.y	2.x.y
mmdet (示例)	<= 2.x.y	3.x.y
其他算法库	0.x.y	1.x.y

前置依赖

• 操作系统: Linux (推荐), Windows, macOS (部分后端), Android
• Python: 3.6+
• PyTorch: 1.8+ (需与 mmcv/mmcv-full 版本匹配)
• CUDA: 根据选择的推理后端（如 TensorRT）安装对应版本（可选，CPU 后端无需 CUDA）

安装步骤

推荐使用 pip 进行安装。为确保下载速度，建议使用国内镜像源。

1. 安装基础依赖

首先安装 PyTorch 和 MMEngine、MMCV。以下命令以 CUDA 11.x 为例（如需 CPU 版本或其他 CUDA 版本，请参考 PyTorch 官网）：

# 使用清华镜像源加速安装
pip install torch torchvision torchaudio --index-url https://pypi.tuna.tsinghua.edu.cn/simple

# 安装 MMEngine
pip install -U openmim
mim install mmengine

# 安装 MMCV 2.x (注意：MMDeploy 1.x 需要 mmcv >= 2.0.0)
mim install "mmcv>=2.0.0"

2. 安装 MMDeploy

直接通过 pip 安装最新稳定版：

# 使用国内镜像源
pip install -U mmdeploy --extra-index-url https://pypi.tuna.tsinghua.edu.cn/simple

# 或者安装包含特定后端的版本（例如 TensorRT，需先配置好 TensorRT 环境）
# pip install -U mmdeploy[tensorrt]

注意：如果需要从源码编译以支持特定硬件后端（如 RKNN, Ascend, SNPE 等），请参考官方文档的“从源码构建”章节。

基本使用

MMDeploy 的核心功能是通过 tools/deploy.py 脚本将训练好的模型转换为部署格式。以下是一个将 MMDetection 模型转换为 ONNX 格式的简单示例。

1. 准备模型配置文件与权重

假设你有一个基于 MMDetection 3.x 训练的模型，拥有配置文件 config.py 和权重文件 checkpoint.pth。

2. 执行模型转换

运行以下命令将模型导出为 ONNX 格式：

python tools/deploy.py \
    <deploy-config> \
    <model-config> \
    <checkpoint> \
    <input-image> \
    --work-dir <output-dir>

具体示例（以 MMDetection 的 Faster R-CNN 为例）：

# 1. 获取 MMDeploy 自带的部署配置文件 (若未安装源码，可从 GitHub 下载对应的 config 文件)
# 这里假设使用的是 mmdet 的 onnxruntime 静态形状配置
wget https://raw.githubusercontent.com/open-mmlab/mmdeploy/main/configs/mmdet/instance-seg/onnxruntime/static.py -O deploy_config.py

# 2. 执行转换
python tools/deploy.py \
    deploy_config.py \
    path/to/mmdet_config.py \
    path/to/checkpoint.pth \
    demo.jpg \
    --work-dir work_dir

3. 验证与推理

转换成功后，work-dir 目录下将生成 .onnx 模型文件及相关的元数据。你可以使用 MMDeploy 提供的测试脚本验证模型效果：

python tools/test.py \
    path/to/mmdet_config.py \
    work_dir/end2end.onnx \
    --img demo.jpg \
    --show

或者使用生成的 SDK 进行 C++/Python 推理（需编译 SDK）。

---

更多详细用法、支持的模型列表及特定后端（如 TensorRT, NCNN）的配置，请参阅 MMDeploy 官方文档。