ncnn

ncnn 是一个为手机端极致优化的高性能神经网络前向计算框架。 ncnn 从设计之初深刻考虑手机端的部署和使用。 无第三方依赖，跨平台，手机端 cpu 的速度快于目前所有已知的开源框架。 基于 ncnn，开发者能够将深度学习算法轻松移植到手机端高效执行， 开发出人工智能 APP，将 AI 带到你的指尖。 ncnn 目前已在腾讯多款应用中使用，如：QQ，Qzone，微信，天天 P 图等。

---

技术交流 QQ 群 637093648 (超多大佬) 答案：卷卷卷卷卷（已满）	Telegram Group https://t.me/ncnnyes	Discord Channel https://discord.gg/YRsxgmF
Pocky QQ 群（MLIR YES!） 677104663 (超多大佬) 答案：multi-level intermediate representation
他们都不知道 pnnx 有多好用群 818998520 (新群！)

---

下载与构建状态

https://github.com/Tencent/ncnn/releases/latest

	如何构建 ncnn 库 在 Linux / Windows / macOS / Raspberry Pi3, Pi4 / POWER / Android / NVIDIA Jetson / iOS / WebAssembly / AllWinner D1 / Loongson 2K1000 上
	源代码
	为 Android 构建 为 Android 上的 Termux 构建
	Android
	Android 共享库
	通过交叉编译为 HarmonyOS 构建
	HarmonyOS		[](https://github.com/Tencent/ncnn/actions?query=workflow%3Aharmo…
	watchOS
watchOS-Simulator
tvOS
tvOS-Simulator
visionOS
visionOS-Simulator
Apple xcframework
	为 Linux / NVIDIA Jetson / Raspberry Pi3、Pi4 / POWER 构建
	Ubuntu 22.04
	Ubuntu 24.04				使用 VS2017 为 Windows x64 构建 使用 MinGW-w64 为 Windows x64 构建
VS2015
VS2017
VS2019
VS2022
	为 WebAssembly 构建
	WebAssembly
	使用交叉编译为 ARM Cortex-A 系列构建 使用交叉编译为海思平台构建 为全志 D1 构建 为龙芯 2K1000 构建 为 QNX 构建
	Linux (arm)
	Linux (aarch64)
	Linux (mips)
	Linux (mips64)
	Linux (ppc64)
	Linux (riscv64)
	Linux (loongarch64)

---

支持大部分常用的 CNN 网络

支持大部分常用的 CNN 网络

• 经典 CNN: VGG AlexNet GoogleNet Inception ...
• 实用 CNN: ResNet DenseNet SENet FPN ...
• 轻量级 CNN: SqueezeNet MobileNetV1 MobileNetV2/V3 ShuffleNetV1 ShuffleNetV2 MNasNet ...
• 人脸检测: MTCNN RetinaFace scrfd ...
• 检测: VGG-SSD MobileNet-SSD SqueezeNet-SSD MobileNetV2-SSDLite MobileNetV3-SSDLite ...
• 检测: Faster-RCNN R-FCN ...
• 检测: YOLOv2 YOLOv3 MobileNet-YOLOv3 YOLOv4 YOLOv5 YOLOv7 YOLOX YOLOv8 ...
• 检测: NanoDet
• 分割: FCN PSPNet UNet YOLACT ...
• 姿势估计: SimplePose ...

---

操作指南

使用 ncnn 与 AlexNet 附详细步骤，强烈推荐给初学者 :)

ncnn 组件使用指北 alexnet 附带详细步骤，新人强烈推荐 :)

使用 Netron 可视化 ncnn 模型

使用 ncnn 与 PyTorch 或 ONNX

ncnn 低级操作 API

ncnn 参数和模型文件规范

ncnn 操作参数权重表

如何逐步实现自定义层

---

常见问题解答

ncnn 深度维基 大语言模型答疑；)

ncnn 抛出错误

ncnn 产生错误结果

ncnn Vulkan

---

功能特性

• 支持卷积神经网络，支持多输入和多分支结构，可计算部分分支
• 无任何第三方库依赖，不依赖 BLAS/NNPACK 等计算框架
• 纯 C++ 实现，跨平台，支持 Android / iOS 等
• ARM Neon 汇编级良心优化，计算速度极快
• 精细的内存管理和数据结构设计，内存占用极低
• 支持多核并行计算加速，ARM big.LITTLE CPU 调度优化
• 支持基于全新低消耗的 Vulkan API GPU 加速
• 可扩展的模型设计，支持 8bit 量化 和半精度浮点存储，可导入 caffe/pytorch/mxnet/onnx/darknet/keras/tensorflow(mlir) 模型
• 支持直接内存零拷贝引用加载网络模型
• 可注册自定义层实现并扩展
• 恩，很强就是了，不怕被塞卷 QvQ

功能概述

• 支持卷积神经网络，支持多输入和多分支结构，可计算部分分支
• 无任何第三方库依赖，不依赖 BLAS/NNPACK 等计算框架
• 纯 C++ 实现，跨平台，支持 Android / iOS 等
• ARM Neon 汇编级良心优化，计算速度极快
• 精细的内存管理和数据结构设计，内存占用极低
• 支持多核并行计算加速，ARM big.LITTLE CPU 调度优化
• 支持基于全新低消耗的 Vulkan API GPU 加速
• 可扩展的模型设计，支持 8bit 量化 和半精度浮点存储，可导入 caffe/pytorch/mxnet/onnx/darknet/keras/tensorflow(mlir) 模型
• 支持直接内存零拷贝引用加载网络模型
• 可注册自定义层实现并扩展
• 恩，很强就是了，不怕被塞卷 QvQ

---

支持平台矩阵

• ✅ = 已知可行且运行速度快，优化良好
• ✔️ = 已知可行，但速度可能不够快
• ❔ = 应该可行，但尚未确认
• / = 不适用

	Windows	Linux	Android	macOS	iOS
intel-cpu	✔️	✔️	✔️	✔️	/
intel-gpu	✔️	✔️	✔️	✔️	/
amd-cpu	✔️	✔️	✔️	✔️	/
amd-gpu	✔️	✔️	✔️	✔️	/
nvidia-gpu	✔️	✔️	✔️	✔️	/
qcom-cpu	✅	✅	✅	/	/
qcom-gpu	✔️	✔️	✔️	/	/
arm-cpu	✅	✅	✅	/	/
arm-gpu	❔	✔️	✔️	/	/
apple-cpu	/	/	/	✔️	✅
apple-gpu	/	/	/	✔️	✔️
ibm-cpu	/	✔️	/	/	/

---

项目示例

• https://github.com/nihui/ncnn-android-squeezenet
• https://github.com/nihui/ncnn-android-styletransfer
• https://github.com/nihui/ncnn-android-mobilenetssd
• https://github.com/moli232777144/mtcnn_ncnn
• https://github.com/nihui/ncnn-android-yolov5
• https://github.com/xiang-wuu/ncnn-android-yolov7
• https://github.com/nihui/ncnn-android-scrfd 🤩
• https://github.com/shaoshengsong/qt_android_ncnn_lib_encrypt_example

• https://github.com/magicse/ncnn-colorization-siggraph17
  

• https://github.com/mizu-bai/ncnn-fortran 从 Fortran 调用 ncnn

• https://github.com/k2-fsa/sherpa 使用 ncnn 进行实时语音识别（即语音转文字）；同时支持嵌入式设备，并提供移动应用（例如 Android 应用）

---

许可证

BSD 3 条款

ncnn 快速上手指南

ncnn 是腾讯开源的高性能神经网络前向计算框架，专为移动端极致优化。它无第三方依赖、跨平台，在手机 CPU 上的推理速度优于已知的所有开源框架，已广泛应用于微信、QQ 等应用中。

1. 环境准备

系统要求

ncnn 支持主流操作系统及架构：

• 移动端: Android, iOS, HarmonyOS
• 桌面端: Windows, macOS, Linux (Ubuntu/Debian/CentOS)
• 嵌入式: Raspberry Pi, NVIDIA Jetson, AllWinner D1, Loongson
• 其他: WebAssembly

前置依赖

ncnn 核心库无第三方依赖。若需自行编译或转换模型，建议安装以下工具：

• CMake: 3.14 或更高版本
• 编译器: GCC / Clang / MSVC
• 模型转换工具 (可选):
  • onnx2ncnn: 用于将 ONNX 模型转换为 ncnn 格式
  • pnnx: 推荐使用的 PyTorch 直接导出工具（更友好）

国内开发者提示：安装依赖时如遇网络问题，可配置国内镜像源（如清华源、阿里源）加速 apt、pip 或 git clone 操作。

2. 安装步骤

推荐直接使用预编译包，也可选择源码编译。

方案 A：下载预编译包（推荐）

访问 GitHub Releases 下载对应平台的二进制包。

Linux 示例 (Ubuntu):

# 下载并解压 (以 Ubuntu 22.04 为例)
wget https://github.com/Tencent/ncnn/releases/latest/download/ncnn-20260113-ubuntu-2204.zip
unzip ncnn-20260113-ubuntu-2204.zip

# 设置环境变量 (可选，方便调用)
export NCNN_DIR=$(pwd)/ncnn-20260113-ubuntu-2204
export LD_LIBRARY_PATH=$NCNN_DIR/lib:$LD_LIBRARY_PATH

Android 开发: 在 build.gradle 中引入下载的 .aar 文件或通过 CMake 链接下载的 .so 库。

方案 B：源码编译 (Linux 示例)

如需自定义构建或贡献代码，可源码编译：

# 1. 克隆仓库
git clone https://github.com/Tencent/ncnn.git
cd ncnn

# 2. 创建构建目录
mkdir build && cd build

# 3. 配置 CMake (开启 Vulkan 加速可选 -DNCNN_VULKAN=ON)
cmake -DCMAKE_BUILD_TYPE=Release ..

# 4. 编译并安装
make -j$(nproc)
sudo make install

3. 基本使用

ncnn 的使用流程通常为：模型转换 -> 加载模型 -> 输入数据 -> 推理 -> 输出结果。

第一步：准备模型

假设你有一个 PyTorch 模型，推荐使用 pnnx 工具直接导出为 ncnn 格式（生成 .param 和 .bin 文件）：

# 需先安装 pnnx (pip install pnnx)
pnnx model.pt inputshape=[1,3,224,224]
# 输出：model.pnnx.param, model.pnnx.bin

第二步：编写推理代码 (C++ 示例)

以下是一个最简单的分类网络推理示例：

#include "net.h"
#include "mat.h"
#include <stdio.h>

int main()
{
    // 1. 初始化网络
    ncnn::Net net;
    
    // 加载模型文件 (param 和 bin)
    // 注意：路径需根据实际情况修改
    net.load_param("model.pnnx.param");
    net.load_model("model.pnnx.bin");

    // 2. 准备输入数据
    // 创建一个 3 通道 224x224 的图片矩阵
    ncnn::Mat in = ncnn::Mat::from_pixels(image_data, ncnn::Mat::PIXEL_RGB, 224, 224);
    
    // 归一化处理 (均值和标准差根据模型训练时的设置调整)
    const float mean_vals[3] = {123.68f, 116.78f, 103.94f};
    const float norm_vals[3] = {0.017125f, 0.017507f, 0.017420f};
    in.substract_mean_normalize(mean_vals, norm_vals);

    // 3. 创建提取器并执行推理
    ncnn::Extractor ex = net.create_extractor();
    ex.input("input", in); // "input" 替换为模型实际的输入节点名

    ncnn::Mat out;
    ex.extract("output", out); // "output" 替换为模型实际的输出节点名

    // 4. 处理输出结果
    printf("Output channel count: %d\n", out.c);
    // 此处可添加代码寻找最大概率类别等逻辑

    return 0;
}

编译运行示例

假设上述代码保存为 main.cpp，且 ncnn 已安装在 /usr/local：

g++ main.cpp -o demo -lncnn -std=c++11
./demo

提示：具体输入/输出节点名称可通过查看 .param 文件或使用时序调试工具获取。对于 Android/iOS 开发，逻辑相同，只需将 C++ 代码嵌入 respective 的工程结构中。