新闻 🔥

• [2026年3月5日] 支持通义千问3.5系列。

• [2026年2月13日] MNN-Sana-Edit-V2现已在apps中上线，提供基于Sana的卡通风格照片编辑功能。

历史新闻

• [2025年10月16日] 支持通义千问3-VL系列。
• [2025年6月11日] 新应用MNN TaoAvatar发布，您可以在本地设备上通过LLM、ASR、TTS、A2BS和NNR模型与3D虚拟形象进行离线对话！！MNN TaoAvatar

• [2025年5月12日] Android应用支持通义千问2.5 omni 3b和7b MNN聊天应用。

• [2025年4月30日] Android应用支持通义千问3及暗黑模式 MNN聊天应用。

• [2025年2月18日] iOS多模态LLM应用发布 MNN LLM iOS。

• [2025年2月11日] Android应用支持DeepSeek R1 1.5B。

• [2025年1月23日] 我们发布了完整的多模态LLM Android应用：MNN-LLM-Android，涵盖文本到文本、图像到文本、音频到文本以及文本到图像生成等功能。

简介

MNN是一个高效轻量级的深度学习框架。它支持深度学习模型的推理和训练，并在设备端的推理与训练性能上处于行业领先水平。目前，MNN已集成到阿里巴巴集团旗下的30余款应用中，包括淘宝、天猫、优酷、钉钉、闲鱼等，覆盖直播、短视频拍摄、搜索推荐、以图搜货、互动营销、权益发放、安全风控等70余种应用场景。此外，MNN还广泛应用于物联网等嵌入式设备。

MNN-LLM 是基于MNN引擎开发的大语言模型运行时解决方案。该项目旨在将大语言模型部署到每个人的本地平台（手机/PC/IoT）上。它支持通义千问、百川智能、智普AI、LLAMA等主流大语言模型。MNN-LLM使用指南

MNN-Diffusion 是基于MNN引擎开发的稳定扩散模型运行时解决方案。该项目的目标是将稳定扩散模型部署到每个人的本地平台上。MNN-Diffusion使用指南

在阿里巴巴内部，MNN 作为计算容器的基础模块，被用于 Walle 系统中。Walle系统是首个端云协同的、通用的、大规模生产级机器学习系统，并已在顶级系统会议OSDI’22上发表。MNN的关键设计原则以及与TensorFlow、TensorFlow Lite、PyTorch、PyTorch Mobile、TVM等框架的广泛基准测试结果均可在OSDI论文中找到。基准测试的脚本和说明位于“/benchmark”路径下。如果MNN或Walle的设计对您的研究或生产实践有所帮助，请引用我们的OSDI论文如下：

@inproceedings {proc:osdi22:walle,
    author = {Chengfei Lv and Chaoyue Niu and Renjie Gu and Xiaotang Jiang and Zhaode Wang and Bin Liu and Ziqi Wu and Qiulin Yao and Congyu Huang and Panos Huang and Tao Huang and Hui Shu and Jinde Song and Bin Zou and Peng Lan and Guohuan Xu and Fei Wu and Shaojie Tang and Fan Wu and Guihai Chen},
    title = {Walle: An {End-to-End}, {General-Purpose}, and {Large-Scale} Production System for {Device-Cloud} Collaborative Machine Learning},
    booktitle = {16th USENIX Symposium on Operating Systems Design and Implementation (OSDI 22)},
    year = {2022},
    isbn = {978-1-939133-28-1},
    address = {Carlsbad, CA},
    pages = {249--265},
    url = {https://www.usenix.org/conference/osdi22/presentation/lv},
    publisher = {USENIX Association},
    month = jul,
}

文档与工作台

MNN的文档已发布在Read the Docs上。

您也可以阅读docs/README来构建文档的HTML版本。

MNN工作台可从MNN官网下载，其中提供了预训练模型、可视化训练工具以及一键将模型部署到设备的功能。

核心特性

轻量级

• 针对设备优化，无依赖，可轻松部署到移动设备及各类嵌入式设备。
• iOS平台：针对armv7+arm64平台的静态库大小约为12MB，链接后的可执行文件大小增加约2MB。
• Android平台：核心so文件大小约为800KB（armv7a - c++_shared）。
• 使用MNN_BUILD_MINI选项可将包体积减少约25%，但需固定模型输入尺寸。
• 支持FP16 / Int8量化，可将模型大小压缩50%-70%。

多功能性

• 支持Tensorflow、Caffe、ONNX、Torchscripts格式，并兼容常见的神经网络架构，如CNN、RNN、GAN、Transformer。
• 支持多输入或多输出的AI模型，适应各种维度格式、动态输入及控制流操作。
• MNN几乎支持所有用于AI模型的核心算子。转换器支持178个Tensorflow算子、52个Caffe算子、163个Torchscripts算子、158个ONNX算子。
• 支持iOS 8.0及以上、Android 4.3及以上，以及具备POSIX接口的嵌入式设备。
• 支持多设备混合计算，目前支持CPU和GPU。

高性能

• 核心计算部分采用大量优化的汇编代码，充分利用ARM/x64 CPU性能。
• 在移动端使用Metal/OpenCL/Vulkan支持GPU推理。
• 在NVIDIA GPU上利用CUDA和Tensor Cores进一步提升性能。
• 卷积及转置卷积算法高效且稳定。Winograd卷积算法广泛应用于3x3、4x4、5x5、6x6、7x7等对称卷积中。
• 新架构ARM v8.2支持FP16半精度计算，速度提升两倍；使用SDOT指令时，ARM v8.2和VNNI架构下的性能提升达2.5倍。

易用性

• 支持使用MNN提供的算子进行类似NumPy的数值计算。
• 提供轻量级图像处理模块，类似OpenCV但仅约100KB。
• 支持在PC或移动设备上构建和训练模型。
• MNN Python API帮助机器学习工程师无需接触C++代码即可轻松使用MNN进行推理、训练和图像处理。

以下是MNN支持的架构与精度说明：

• S：支持并运行良好，深度优化，推荐使用。
• A：支持并运行良好，可以使用。
• B：支持但存在Bug或未优化，不推荐使用。
• C：不支持。

架构 / 精度		常规	FP16	BF16	Int8
CPU	Native	B	C	B	B
	x86/x64-SSE4.1	A	C	C	A
	x86/x64-AVX2	S	C	C	A
	x86/x64-AVX512	S	C	C	S
	ARMv7a	S	S（ARMv8.2）	S	S
	ARMv8	S	S（ARMv8.2）	S（ARMv8.6）	S
GPU	OpenCL	A	S	C	S
	Vulkan	A	A	C	A
	Metal	A	S	C	S
	CUDA	A	S	C	A
NPU	CoreML	A	C	C	C
	HIAI	A	C	C	C
	NNAPI	B	B	C	B
	QNN	C	B	C	C

工具

基于MNN（张量计算引擎），我们提供了一系列用于推理、训练及通用计算的工具。

• MNN-Converter：将其他格式的模型转换为MNN格式，用于推理，例如Tensorflow(Lite)、Caffe、ONNX、Torchscripts等，并进行图优化以减少计算量。
• MNN-Compress：压缩模型以减小体积并提升性能/速度。
• MNN-Express：支持带有控制流的模型，使用MNN算子进行通用计算。
• MNN-CV：一个类似OpenCV的库，但基于MNN，因此更加轻量。
• MNN-Train：支持训练MNN模型。

如何在 MNN 社区讨论并获得帮助

群内的讨论主要使用中文。不过我们也欢迎并会帮助使用英文的用户。

DingTalk 讨论群：

群 #4（可用）：160170007549

群 #3（已满）

群 #2（已满）：23350225

群 #1（已满）：23329087

历史论文

作为移动端推理引擎，且以手动优化为重点的 MNN 初版，也已在 MLSys 2020 上发表。如果您之前的研究曾受益于 MNN，请引用该论文：

@inproceedings{alibaba2020mnn,
  author = {Jiang, Xiaotang and Wang, Huan and Chen, Yiliu and Wu, Ziqi and Wang, Lichuan and Zou, Bin and Yang, Yafeng and Cui, Zongyang and Cai, Yu and Yu, Tianhang and Lv, Chengfei and Wu, Zhihua},
  title = {MNN: 一个通用高效的推理引擎},
  booktitle = {MLSys},
  year = {2020}
}

许可证

Apache 2.0

致谢

MNN 的参与者包括：淘宝技术部、搜索工程团队、达摩院团队、优酷以及其他阿里巴巴集团的员工。

MNN 参考了以下项目：

• Caffe
• flatbuffer
• gemmlowp
• Google Vulkan 示例
• Halide
• Mace
• ONNX
• protobuffer
• skia
• Tensorflow
• ncnn
• paddle-mobile
• stb
• rapidjson
• pybind11
• pytorch
• bolt
• libyuv
• libjpeg
• opencv
• onnxruntime

MNN 快速上手指南

MNN 是一个高效、轻量级的深度学习推理与训练框架，专为移动端和嵌入式设备设计。它已被广泛应用于淘宝、天猫、钉钉等阿里系应用，支持在 Android、iOS 及各类 IoT 设备上运行大语言模型（LLM）、扩散模型（Diffusion）及传统神经网络。

1. 环境准备

系统要求

• 操作系统：
  • Linux (推荐 Ubuntu 18.04+)
  • macOS (10.13+)
  • Windows (需使用 WSL 或 CMake + Visual Studio)
  • Android (NDK r20+)
  • iOS (Xcode 10+)
• 硬件架构：支持 ARMv7/ARMv8 (Mobile/IoT), x86/x64 (PC/Server)。
• 编译器：GCC 4.9+ 或 Clang 3.8+，支持 C++11 标准。

前置依赖

• CMake: 3.10 及以上版本
• Git: 用于克隆代码库
• Python: 3.6+ (如需使用 Python API 或转换工具)
• Protobuf: 模型转换必需 (建议安装 libprotobuf-dev)

国内加速建议： 若克隆仓库速度慢，可使用 Gitee 镜像（如有）或配置 Git 代理。 Python 依赖安装推荐使用清华源或阿里源：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

2. 安装步骤

步骤一：克隆代码库

git clone https://github.com/alibaba/MNN.git
cd MNN

步骤二：编译核心库 (Linux/macOS 示例)

创建构建目录并运行 CMake 配置。默认开启 CPU 优化，如需开启 GPU (OpenCL/Vulkan/Metal) 或量化支持，可添加相应参数。

mkdir build && cd build

# 基础编译 (仅 CPU)
cmake .. -DMNN_BUILD_SHARED_LIBS=ON -DCMAKE_BUILD_TYPE=Release

# 可选：开启更多功能示例 (根据需求选择)
# -DMNN_OPENCL=ON        # 开启 OpenCL (Android/Linux GPU)
# -DMNN_METAL=ON         # 开启 Metal (iOS GPU)
# -DMNN_VULKAN=ON        # 开启 Vulkan
# -DMNN_SUPPORT_TRANSFORMER=ON # 支持 Transformer/LLM 算子
# -DMNN_BUILD_QUANTOOLS=ON     # 构建量化工具
# -DMNN_BUILD_TRAIN=ON         # 开启训练功能

make -j$(nproc)

编译完成后，核心库位于 build/libmnn.so (Linux) 或 build/libMNN.dylib (macOS)，头文件位于 include 目录。

步骤三：安装 Python 接口 (可选)

如果需要直接使用 Python 进行推理或模型转换：

cd ../python
pip install -r requirements.txt
python setup.py install --user
# 或者构建 wheel 包
python setup.py bdist_wheel
pip install dist/*.whl

步骤四：获取模型转换工具

MNN 需要将 TensorFlow/Caffe/ONNX/PyTorch 模型转换为 .mnn 格式。转换工具通常在编译时生成（若开启了相关选项），位于 build/MNNConvert。

3. 基本使用

场景一：模型转换

将 ONNX 模型转换为 MNN 格式：

./MNNConvert -f ONNX --modelFile your_model.onnx --MNNModel your_model.mnn --bizCode biz

注：--bizCode 为业务标识符，可随意填写，如 "test"。

场景二：Python 推理示例

以下是最简单的使用 MNN Python API 加载模型并进行推理的代码：

import MNN
import numpy as np

# 1. 加载模型
interpreter = MNN.Interpreter("your_model.mnn")
session = interpreter.createSession()

# 2. 获取输入输出 Tensor
input_tensor = interpreter.getSessionInput(session)
output_tensor = interpreter.getSessionOutput(session)

# 3. 准备数据 (假设输入为 1x3x224x224 的浮点数组)
data = np.random.rand(1, 3, 224, 224).astype(np.float32)
tmp_input = MNN.Tensor((1, 3, 224, 224), data, input_tensor, MNN.DimensionType_Tensorflow)

# 4. 执行推理
interpreter.runSession(session)

# 5. 获取结果
output_data = output_tensor.getData()
print("Inference result shape:", output_data.shape)

场景三：运行官方 Demo (Android/iOS)

MNN 提供了完整的 Android 和 iOS 演示应用，支持本地运行 Qwen、DeepSeek 等大模型及图像编辑功能。

• Android: 查看 apps/Android/MnnLlmChat/README.md 获取 APK 编译或下载指引。
• iOS: 查看 apps/iOS/MNNLLMChat/README.md 使用 Xcode 打开项目运行。

这些 Demo 展示了 MNN 在多模态（文本、图像、音频）任务上的端到端能力，所有计算均在设备本地完成。