MMdnn

MMdnn 是一款功能全面、跨框架的工具，用于转换、可视化和诊断深度学习（DL）模型。 “MM”代表模型管理，“dnn”则是深度神经网络的缩写。

主要特性包括：

• 模型转换

  • 我们实现了一个通用的转换器，可以在不同框架之间转换深度学习模型，这意味着你可以在一个框架中训练模型，然后在另一个框架中部署它。

• 模型再训练

  • 在模型转换过程中，我们会生成一些代码片段，以简化后续的再训练或推理过程。

• 模型搜索与可视化

  • 我们提供了一个模型集合，帮助你找到一些流行的模型。
  • 我们还提供了一个模型可视化工具,可以更直观地展示网络架构。

• 模型部署

  • 我们提供了一些指南，帮助你将深度学习模型部署到其他硬件平台上。

    • Android
    • 服务端部署

  • 我们还提供了一篇指南，帮助你使用 TensorRT 加速推理。

    • TensorRT

相关项目

为了推动开放性和前沿技术的发展，微软亚洲研究院（MSR） 和 微软软件技术中心（STC） 也发布了一些开源项目：

• OpenPAI：一个开源平台，提供完整的 AI 模型训练和资源管理能力，易于扩展，支持各种规模的本地、云及混合环境。
• FrameworkController：一个开源的通用 Kubernetes Pod 控制器，可以通过单一控制器编排 Kubernetes 上的各种应用。
• NNI：一个轻量级但功能强大的工具包，帮助用户自动化特征工程、神经架构搜索、超参数调优和模型压缩。
• NeuronBlocks：一个 NLP 深度学习建模工具包，帮助工程师像搭乐高积木一样构建 DNN 模型。该工具包的主要目标是最大限度地降低 NLP 深度神经网络模型开发的成本，涵盖训练和推理两个阶段。
• SPTAG：空间划分树与图（SPTAG）是一个开源库，适用于大规模向量近似最近邻搜索场景。

我们鼓励研究人员、开发者和学生利用这些项目来提升他们在人工智能和深度学习领域的效率。

安装

手动安装

你可以通过以下命令获取 MMdnn 的稳定版本：

pip install mmdnn

请确保已安装 Python， 或者你也可以尝试最新版本：

pip install -U git+https://github.com/Microsoft/MMdnn.git@master

使用 Docker 镜像安装

MMdnn 提供了一个 Docker 镜像，其中包含了 MMdnn、我们支持的深度学习框架以及其他依赖项。 你可以按照以下步骤轻松试用该镜像：

1. 安装 Docker 社区版（CE）

   了解如何安装 Docker

2. 拉取 MMdnn 的 Docker 镜像

   docker pull mmdnn/mmdnn:cpu.small
   

3. 以交互模式运行镜像

   docker run -it mmdnn/mmdnn:cpu.small
   

特性

模型转换

在工业界和学术界，有许多现成的框架可供开发者和研究人员设计模型使用，每个框架都有其独特的网络结构定义和模型保存格式。不同框架之间的差异阻碍了模型的互操作性。

我们提供了一个模型转换工具，帮助开发者通过中间表示格式在不同框架之间进行模型转换。

支持的框架

[注] 您可以点击链接查看各个框架的详细 README 文档。

• Caffe
• Microsoft Cognitive Toolkit (CNTK)
• CoreML
• Keras
• MXNet
• ONNX（仅作为目标框架）
• PyTorch
• TensorFlow（实验性）（强烈建议您先阅读 TensorFlow 的 README）
• DarkNet（仅作为源框架，实验阶段）

测试过的模型

目前支持的框架之间的模型转换已在一些 ImageNet 模型上进行了测试。

模型	Caffe	Keras	TensorFlow	CNTK	MXNet	PyTorch	CoreML	ONNX
VGG 19	√	√	√	√	√	√	√	√
Inception V1	√	√	√	√	√	√	√	√
Inception V3	√	√	√	√	√	√	√	√
Inception V4	√	√	√	o	√	√	√	√
ResNet V1	×	√	√	o	√	√	√	√
ResNet V2	√	√	√	√	√	√	√	√
MobileNet V1	×	√	√	o	√	√	√	√
MobileNet V2	×	√	√	o	√	√	√	√
Xception	√	√	√	o	×	√	√	√
SqueezeNet	√	√	√	√	√	√	√	√
DenseNet	√	√	√	√	√	√	√	√
NASNet	x	√	√	o	√	√	√	x
ResNext	√	√	√	√	√	√	√	√
voc FCN			√	√
Yolo3		√		√

使用方法

只需一条命令即可完成转换。以将 TensorFlow 的 ResNet V2 152 转换为 PyTorch 为例：

$ mmdownload -f tensorflow -n resnet_v2_152 -o ./
$ mmconvert -sf tensorflow -in imagenet_resnet_v2_152.ckpt.meta -iw imagenet_resnet_v2_152.ckpt --dstNodeName MMdnn_Output -df pytorch -om tf_resnet_to_pth.pth

完成。

正在开发中的框架

• Torch7（寻求帮助）
• Chainer（寻求帮助）

正在开发中的模型

• 人脸检测
• 语义分割
• 图像风格迁移
• 目标检测
• RNN

---

模型可视化

我们提供了一个 本地可视化工具，用于展示深度学习模型的网络架构。 请参阅 使用说明。

---

示例

官方教程

• Keras "inception V3" 转 CNTK 和 相关问题

• TensorFlow slim 模型 "ResNet V2 152" 转 PyTorch

• Mxnet 模型 "LResNet50E-IR" 转 TensorFlow 和 相关问题

用户示例

• MXNet "ResNet-152-11k" 转 PyTorch

• 另一个 MXNet "ResNet-152-11k" 转 PyTorch 的示例

• MXNet "ResNeXt" 转 Keras

• TensorFlow "ResNet-101" 转 PyTorch

• TensorFlow "mnist mlp 模型" 转 CNTK

• TensorFlow "Inception_v3" 转 MXNet

• Caffe "voc-fcn" 转 TensorFlow

• Caffe "AlexNet" 转 TensorFlow

• Caffe "inception_v4" 转 TensorFlow

• Caffe "VGG16_SOD" 转 TensorFlow

• Caffe "SqueezeNet v1.1" 转 CNTK

---

贡献

大多数贡献都需要您同意签署贡献者许可协议（CLA），声明您有权并确实授予我们使用您的贡献的权利。有关详情，请访问 https://cla.microsoft.com。

当您提交拉取请求时，CLA 机器人会自动判断您是否需要提供 CLA，并相应地标记或评论您的 PR。只需按照机器人提供的指示操作即可。对于所有使用我们 CLA 的仓库，您只需执行一次此操作。

本项目已采用 微软开源行为准则。如需更多信息，请参阅 行为准则常见问题解答，或发送电子邮件至 opencode@microsoft.com 咨询更多问题或意见。

中间表示

中间表示以 protobuf 二进制 格式存储 网络架构，并以 NumPy 原生格式 存储 预训练权重。

[注意！] 目前 IR 权重数据采用 NHWC（通道在后）格式。

详细信息请参阅 ops.txt 和 graph.proto。欢迎添加新算子及相关注释。

框架支持

我们正在开发对其他框架的转换与可视化功能，例如 PyTorch、CoreML 等。同时也在研究更多与 RNN 相关的算子。欢迎各位贡献代码或提出建议！详情请参阅 贡献指南。

作者

刘宇（北京大学）：项目开发者及维护者

陈诚（微软亚洲研究院）：Caffe、CNTK、CoreML 发射器、Keras、MXNet、TensorFlow

姚嘉豪（北京大学）：CoreML、MXNet 发射器、PyTorch 解析器；个人主页

张儒（中国科学院）：CoreML 发射器、DarkNet 解析器、Keras、TensorFlow 冻结图解析器；Yolo 和 SSD 模型；测试工作

周宇浩（上海交通大学）：MXNet

秦婷婷（微软亚洲研究院）：Caffe 发射器

詹通（微软）：ONNX 发射器

王倩雯（香港科技大学）：可视化

致谢

感谢 Saumitro Dasgupta，Caffe -> IR 转换 的初始代码参考了其项目 caffe-tensorflow。

许可证

本项目采用 MIT 许可证授权。

MMdnn 快速上手指南

MMdnn 是一个跨框架的深度学习模型转换、可视化和诊断工具。它允许你在一个框架中训练模型，然后轻松转换并部署到另一个框架中。

环境准备

• 操作系统：支持 Linux、macOS 和 Windows。
• Python 版本：需要安装 Python (推荐 Python 3.6+)。
• 前置依赖：确保已安装 pip 包管理工具。
• 目标框架：根据转换需求，可能需要安装对应的深度学习框架（如 TensorFlow, PyTorch, Keras, Caffe, MXNet, CNTK 等）及其依赖库。

提示：国内用户若遇到网络问题，建议使用国内镜像源加速 pip 安装（如阿里云或清华源）。

安装步骤

你可以通过以下两种方式安装 MMdnn：

方式一：通过 Pip 安装（推荐）

安装稳定版本：

pip install mmdnn

或者安装最新的开发版本：

pip install -U git+https://github.com/Microsoft/MMdnn.git@master

(国内加速示例)

pip install mmdnn -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：使用 Docker 镜像

如果你希望避免配置复杂的环境依赖，可以直接使用官方提供的 Docker 镜像，其中已预装了 MMdnn 及支持的深度学习框架。

1. 拉取镜像：

   docker pull mmdnn/mmdnn:cpu.small
   

2. 运行容器：

   docker run -it mmdnn/mmdnn:cpu.small
   

基本使用

MMdnn 的核心功能是模型转换。通常分为两步：下载预训练模型（可选）和执行转换。

以下示例演示如何将 TensorFlow 的 ResNet V2 152 模型转换为 PyTorch 格式。

第一步：下载源模型

使用 mmdownload 命令从内置库中下载模型文件。

mmdownload -f tensorflow -n resnet_v2_152 -o ./

执行后将在当前目录生成 imagenet_resnet_v2_152.ckpt.meta 和 imagenet_resnet_v2_152.ckpt 等文件。

第二步：执行模型转换

使用 mmconvert 命令进行格式转换。

mmconvert -sf tensorflow -in imagenet_resnet_v2_152.ckpt.meta -iw imagenet_resnet_v2_152.ckpt --dstNodeName MMdnn_Output -df pytorch -om tf_resnet_to_pth.pth

参数说明：

• -sf: 源框架 (source framework)，此处为 tensorflow。
• -in: 源模型结构文件路径。
• -iw: 源模型权重文件路径。
• --dstNodeName: 输出节点名称（对于 TensorFlow 模型通常需要指定）。
• -df: 目标框架 (destination framework)，此处为 pytorch。
• -om: 输出模型文件名。

转换完成后，你将得到 tf_resnet_to_pth.pth 文件，即可在 PyTorch 环境中加载使用。

其他支持框架

MMdnn 支持多种框架间的互转，包括但不限于：

• Caffe
• Keras
• MXNet
• CNTK
• CoreML
• DarkNet (仅作为源)
• ONNX (仅作为目标)

只需修改上述命令中的 -sf 和 -df 参数即可适配不同框架。