文档 | 常见问题 | 发布说明 | 路线图 | MACE 模型库 | 示例 | 加入我们 | 中文

移动人工智能计算引擎（简称 MACE）是一个针对 Android、iOS、Linux 和 Windows 设备上的移动异构计算优化的深度学习推理框架。其设计主要聚焦于以下目标：

• 性能
  • 运行时通过 NEON、OpenCL 和 Hexagon 等技术进行优化，并引入了 Winograd 算法 来加速卷积运算。同时，初始化过程也进行了优化，以提升速度。
• 能耗
  • 提供了与芯片相关的电源管理选项，例如 big.LITTLE 调度和 Adreno GPU 提示等高级 API。
• 响应性
  • 在运行模型时，确保 UI 的响应性有时是至关重要的。为此，引入了将 OpenCL 内核自动拆分为小单元的机制，以便更好地让出资源给 UI 渲染任务。
• 内存使用与库体积
  • 支持图级别的内存分配优化和缓冲区复用。核心库尽量减少对外部依赖，以保持较小的库体积。
• 模型保护
  • 模型保护自设计之初就一直是最高优先级。为此引入了多种技术，如将模型转换为 C++ 代码以及字面混淆等。
• 平台覆盖
  • 对高通、联发科、平头哥等基于 ARM 架构的最新芯片有良好的支持。CPU 运行时支持 Android、iOS 和 Linux。
• 丰富的模型格式支持
  • 支持 TensorFlow、Caffe 和 ONNX 等多种模型格式。

快速入门

• 简介
• 安装
• 基础使用
• 高级使用

性能

MACE 模型库 包含了几种常见的神经网络和模型，这些模型会每天针对一系列手机设备进行构建。基准测试结果可以在 CI 结果页面 上找到（选择最新的成功流水线，点击 release 步骤即可查看基准测试结果）。若想与其他框架进行对比，可以参考 MobileAIBench 项目。

沟通交流

• GitHub Issues：用于提交 bug 报告、使用问题及功能请求。
• Slack：mace-users.slack.com
• QQ 群：756046893

贡献

我们欢迎任何形式的贡献。对于 bug 报告和功能请求，请随时创建 issue；而对于代码贡献，强烈建议先创建 issue 进行讨论。更多详情请参阅 贡献指南。

许可证

Apache License 2.0。

致谢

MACE 依赖于位于 third_party 目录下的多个开源项目。在开发过程中，我们尤其从以下项目中受益匪浅：

• Qualcomm Hexagon NN Offload Framework：Hexagon DSP 运行时依赖于此库。
• TensorFlow、Caffe、SNPE、ARM ComputeLibrary、ncnn、ONNX 等众多项目：我们从这些项目中学习到了许多最佳实践。

最后，我们还要感谢 Qualcomm、平头哥和联发科的工程师团队提供的帮助。

MACE 快速上手指南

MACE (Mobile AI Compute Engine) 是小米开源的移动端深度学习推理框架，专为 Android、iOS、Linux 和 Windows 设备的异构计算优化。支持 TensorFlow、Caffe 和 ONNX 模型格式。

环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu 16.04/18.04), macOS, 或 Windows (需 WSL)
• Python: 3.5+
• Bazel: 0.19.2 - 1.2.1 (版本兼容性较强，建议使用 0.26.1)
• Android NDK: r18b 或更高版本 (如需部署到 Android)
• CMake: 3.10+

前置依赖

确保安装以下基础工具：

sudo apt-get update
sudo apt-get install -y python3-pip python3-dev git wget curl autoconf libtool pkg-config zip unzip opencl-headers ocl-icd-libopencl1
pip3 install -U pip setuptools wheel
pip3 install numpy six

提示：国内开发者可使用清华源加速 Python 包安装：

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple numpy six

安装步骤

1. 克隆代码库

git clone https://github.com/XiaoMi/mace.git
cd mace
git submodule update --init --recursive

加速建议：如果 GitHub 连接缓慢，可使用 Gitee 镜像（如有）或配置 Git 代理。

2. 配置环境变量

编辑 ~/.bashrc 或 ~/.zshrc，添加以下内容（路径请根据实际情况调整）：

export ANDROID_NDK_HOME=/path/to/android-ndk-r18b
export PATH=$PATH:/path/to/bazel/bin

使配置生效：

source ~/.bashrc

3. 构建 MACE 核心库

在项目根目录下运行构建脚本（以 Android ARM64 为例）：

bazel build //mace/lib:mace --config=android_arm64

若需构建用于本地测试的 Linux 版本：

bazel build //mace/lib:mace --config=linux

基本使用

1. 转换模型

将 TensorFlow 冻结模型 (.pb) 转换为 MACE 格式：

python3 -m mace.bin.mace_run --model_name=mobilenet_v2 \
  --platform=tensorflow \
  --model_path=models/mobilenet_v2.pb \
  --input_node="input" \
  --output_node="MobilenetV2/Predictions/Reshape_1" \
  --input_shape="1,224,224,3" \
  --output_dir=models/mace_mobilenet_v2

2. 在 C++ 中调用

创建一个简单的推理程序 test_mace.cc：

#include "mace/core/runtime.h"
#include "mace/public/model.h"

int main() {
  // 初始化 MACE 运行时
  mace::MaceStatus status = mace::MaceEngine::Init();
  
  // 加载模型 (路径需替换为实际生成的 .data 和 .cc 文件路径)
  std::unique_ptr<mace::MaceEngine> engine;
  status = mace::CreateMaceEngine("mobilenet_v2", 
                                  "models/mace_mobilenet_v2", 
                                  {"input"}, 
                                  {"output"}, 
                                  &engine);
  
  if (status != mace::MaceStatus::MACE_SUCCESS) {
    return -1;
  }

  // 准备输入数据
  std::map<std::string, mace::MaceTensor> inputs;
  std::map<std::string, mace::MaceTensor> outputs;
  std::vector<float> input_data(1 * 224 * 224 * 3);
  // ... 填充 input_data ...
  
  inputs["input"] = mace::MaceTensor({1, 224, 224, 3}, input_data.data());
  outputs["output"] = mace::MaceTensor({1, 1001}, nullptr);

  // 执行推理
  status = engine->Run(inputs, &outputs);
  
  return 0;
}

3. 编译并运行

g++ -std=c++11 test_mace.cc -I./include -L./lib -lmace -o test_mace
LD_LIBRARY_PATH=./lib ./test_mace

---

更多高级用法（如 OpenCL/GPU 加速、模型加密、多线程优化）请参考官方文档。