English | 简体中文

nndeploy：一款简单易用和高性能的AI部署框架

文档 | Ask DeepWiki | 微信 | Discord

---

介绍

nndeploy 是一款简单易用和高性能的 AI 部署框架。解决的是 AI 算法在端侧部署的问题，包含桌面端（Windows、macOS）、移动端（Android、iOS）、边缘计算设备（NVIDIA Jetson、Ascend310B、RK 等）以及单机服务器（RTX 系列、T4、Ascend310P 等），基于可视化工作流和多端推理，可让 AI 算法在上述平台和硬件更高效、更高性能的落地。

针对10B以上的大模型（如大语言模型和 AIGC 生成模型），nndeploy 适合作为一款可视化工作流工具。

简单易用

• 可视化工作流：拖拽节点即可部署 AI 算法，参数实时可调，效果一目了然。

• 自定义节点：支持 Python/C++自定义节点，无论是用 Python 实现预处理，还是用 C++/CUDA 编写高性能节点，均可无缝集成到与可视化工作流。

• 一键部署：工作流支持导出为 JSON，可通过 C++/Python API 调用，适用于 Linux、Windows、macOS、Android 等平台

  桌面端搭建AI工作流	移动端部署

高性能

• 并行优化：支持串行、流水线并行、任务并行等执行模式

• 内存优化：零拷贝、内存池、内存复用等优化策略

• 高性能优化：内置 C++/CUDA/Ascend C/SIMD 等优化实现的节点

• 多端推理：一套工作流适配多端推理，深度集成 13 种主流推理框架，全面覆盖云端服务器、桌面应用、移动设备、边缘计算等全平台部署场景。框架支持灵活选择推理引擎，可按需编译减少依赖，同时支持接入自定义推理框架的独立运行模式。

  推理框架	状态
  ONNXRuntime	✅
  TensorRT	✅
  OpenVINO	✅
  MNN	✅
  TNN	✅
  ncnn	✅
  CoreML	✅
  AscendCL	✅
  RKNN	✅
  SNPE	✅
  TVM	✅
  PyTorch	✅
  nndeploy内部推理子模块	✅

开箱即用的算法

已部署多类 AI 模型，并开发 100+可视化节点，实现开箱即用体验。随着部署节点数量的增加，节点库的复用性不断提升，这将显著降低后续算法部署的开发成本。我们还将持续部署更多具有实用价值的算法。

Application Scenario	Available Models	Remarks
Large Language Models	QWen-2.5, QWen-3	Support small B models
Image/Video Generation	Stable Diffusion 1.5, Stable Diffusion XL, Stable Diffusion 3, HunyuanDiT, etc.	Support text-to-image, image-to-image, image inpainting, based on diffusers
Face Swapping	deep-live-cam
OCR	Paddle OCR
Object Detection	YOLOv5, YOLOv6, YOLOv7, YOLOv8, YOLOv11, YOLOx
Object Tracking	FairMot
Image Segmentation	RBMGv1.4, PPMatting, Segment Anything
Classification	ResNet, MobileNet, EfficientNet, PPLcNet, GhostNet, ShuffleNet, SqueezeNet
API Services	OPENAI, DeepSeek, Moonshot	Support LLM and AIGC services

更多查看已部署模型列表详解

快速开始

• 步骤一：安装

  pip install --upgrade nndeploy
  

• 步骤二：启动可视化界面

  # 方式一：命令行
  nndeploy-app --port 8000
  # 方式二：代码启动
  cd path/to/nndeploy
  python app.py --port 8000
  

  启动成功后，打开 http://localhost:8000 即可访问工作流编辑器。在这里，你可以拖拽节点、调整参数、实时预览效果，所见即所得。

  

• 步骤三：保存并加载运行

  在可视化界面中搭建、调试完成后，点击保存，工作流会导出 JSON 文件，文件中封装了所有的处理流程。你可以用以下两种方式在生产环境中运行：

  • 方式一：命令行运行

    用于调试

    # Python CLI
    nndeploy-run-json --json_file path/to/workflow.json
    # C++ CLI
    nndeploy_demo_run_json --json_file path/to/workflow.json
    

  • 方式 2：在 Python/C++ 代码中加载运行

    可以将 JSON 文件集成到你现有的 Python 或 C++ 项目中，以下是一个加载和运行 LLM 工作流的示例代码：

    • Python API 加载运行 LLM 工作流

      graph = nndeploy.dag.Graph("")
      graph.remove_in_out_node()
      graph.load_file("path/to/llm_workflow.json")
      graph.init()
      input = graph.get_input(0)
      text = nndeploy.tokenizer.TokenizerText()
      text.texts_ = [ "<|im_start|>user\nPlease introduce NBA superstar Michael Jordan<|im_end|>\n<|im_start|>assistant\n" ]
      input.set(text)
      status = graph.run()
      output = graph.get_output(0)
      result = output.get_graph_output()
      graph.deinit()
      

    • C++ API 加载运行 LLM 工作流

      std::shared_ptr<dag::Graph> graph = std::make_shared<dag::Graph>("");
      base::Status status = graph->loadFile("path/to/llm_workflow.json");
      graph->removeInOutNode();
      status = graph->init();
      dag::Edge* input = graph->getInput(0);
      tokenizer::TokenizerText* text = new tokenizer::TokenizerText();
      text->texts_ = {
          "<|im_start|>user\nPlease introduce NBA superstar Michael Jordan<|im_end|>\n<|im_start|>assistant\n"};
      input->set(text, false);
      status = graph->run();
      dag::Edge* output = graph->getOutput(0);
      tokenizer::TokenizerText* result =
          output->getGraphOutput<tokenizer::TokenizerText>();
      status = graph->deinit();
      

要求 Python 3.10+，默认包含 ONNXRuntime、MNN，更多推理后端请采用开发者模式。

文档

• 编译
• 可视化工作流
• 最佳实践
• Python 自定义节点开发手册
• C++自定义节点开发手册
• 接入新推理框架

性能测试

测试环境：Ubuntu 22.04，i7-12700，RTX3060

• 流水线并行加速。以 YOLOv11s 端到端工作流总耗时，串行 vs 流水线并行

  

  运行方式\推理引擎	ONNXRuntime	OpenVINO	TensorRT
  串行	54.803 ms	34.139 ms	13.213 ms
  流水线并行	47.283 ms	29.666 ms	5.681 ms
  性能提升	13.7%	13.1%	57%

• 任务并行加速。组合任务(分割 RMBGv1.4+检测 YOLOv11s+分类 ResNet50)的端到端总耗时，串行 vs 任务并行

  

  运行方式\推理引擎	ONNXRuntime	OpenVINO	TensorRT
  串行	654.315 ms	489.934 ms	59.140 ms
  任务并行	602.104 ms	435.181 ms	51.883 ms
  性能提升	7.98%	11.2%	12.2%

下一步计划

• 工作流生态
• 端侧大模型推理
• 架构优化
• AI Box

联系我们

• 如果你热爱开源、喜欢折腾，不论是出于学习目的，亦或是有更好的想法，欢迎加入我们

• 微信：Always031856（欢迎加好友，进群交流，备注：nndeploy_姓名）

致谢

• 感谢以下项目：TNN、FastDeploy、opencv、CGraph、tvm、mmdeploy、FlyCV、oneflow、flowgram.ai、deep-live-cam。

• 感谢HelloGithub推荐

  

贡献者

nndeploy 快速上手指南

nndeploy 是一款简单易用、高性能的 AI 部署框架，支持可视化工作流编排，覆盖桌面端、移动端及边缘计算设备。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux (Ubuntu 22.04 推荐), Windows, macOS, Android, iOS
• Python 版本：Python 3.10 或更高版本
• 硬件建议：
  • 基础运行：通用 CPU
  • 高性能推理：NVIDIA GPU (需安装对应 CUDA)、华为 Ascend、Rockchip NPU 等（根据具体推理后端需求配置驱动）
• 前置依赖：默认安装包已包含 ONNXRuntime 和 MNN 推理后端。若需使用 TensorRT、OpenVINO 等其他后端，请参考官方文档进行开发者模式编译。

提示：国内用户若遇到 pip 下载缓慢，建议使用清华或阿里镜像源加速安装。

2. 安装步骤

通过 pip 一键安装最新版本的 nndeploy：

pip install --upgrade nndeploy -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 基本使用

nndeploy 的核心优势在于可视化工作流。您可以先通过图形界面拖拽节点搭建算法流程，调试完成后导出为 JSON，再在生产环境中通过代码加载运行。

第一步：启动可视化界面

安装完成后，通过命令行启动本地服务：

nndeploy-app --port 8000

或者进入源码目录运行：

cd path/to/nndeploy
python app.py --port 8000

启动成功后，在浏览器访问 http://localhost:8000。您将看到工作流编辑器，可以拖拽节点（如 YOLO 检测、LLM 对话、图像分割等）、调整参数并实时预览效果。

第二步：保存工作流

在可视化界面中完成模型搭建与调试后，点击保存按钮。系统将生成一个 .json 文件（例如 workflow.json），该文件封装了完整的处理逻辑。

第三步：生产环境运行

您可以将生成的 JSON 文件集成到 Python 或 C++ 项目中直接运行。以下是加载并运行一个大语言模型（LLM）工作流的示例：

方式一：Python API 调用

import nndeploy
from nndeploy.tokenizer import TokenizerText

# 初始化图结构
graph = nndeploy.dag.Graph("")
graph.remove_in_out_node()

# 加载保存的工作流 JSON 文件
graph.load_file("path/to/llm_workflow.json")

# 初始化并设置输入
graph.init()
input_node = graph.get_input(0)
text = TokenizerText()
text.texts_ = ["<|im_start|>user\nPlease introduce NBA superstar Michael Jordan<|im_end|>\n<|im_start|>assistant\n"]
input_node.set(text)

# 执行推理
status = graph.run()

# 获取输出
output_node = graph.get_output(0)
result = output_node.get_graph_output()

# 清理资源
graph.deinit()

方式二：C++ API 调用

#include "nndeploy/dag/graph.h"
#include "nndeploy/tokenizer/tokenizer_text.h"

// 创建图对象
std::shared_ptr<dag::Graph> graph = std::make_shared<dag::Graph>("");

// 加载工作流文件
base::Status status = graph->loadFile("path/to/llm_workflow.json");
graph->removeInOutNode();

// 初始化
status = graph->init();

// 设置输入数据
dag::Edge* input = graph->getInput(0);
tokenizer::TokenizerText* text = new tokenizer::TokenizerText();
text->texts_ = {
    "<|im_start|>user\nPlease introduce NBA superstar Michael Jordan<|im_end|>\n<|im_start|>assistant\n"};
input->set(text, false);

// 执行推理
status = graph->run();

// 获取结果
dag::Edge* output = graph->getOutput(0);
tokenizer::TokenizerText* result = output->getGraphOutput<tokenizer::TokenizerText>();

// 释放资源
status = graph->deinit();

方式三：命令行直接运行（用于快速调试）

如果您只想快速验证 JSON 文件是否可用，可直接使用内置命令：

# Python 环境运行
nndeploy-run-json --json_file path/to/workflow.json

# C++ 环境运行
nndeploy_demo_run_json --json_file path/to/workflow.json