[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-nndeploy--nndeploy":3,"tool-nndeploy--nndeploy":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",157379,2,"2026-04-15T23:32:42",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":64,"owner_name":64,"owner_avatar_url":72,"owner_bio":73,"owner_company":74,"owner_location":74,"owner_email":74,"owner_twitter":74,"owner_website":74,"owner_url":75,"languages":76,"stars":117,"forks":118,"last_commit_at":119,"license":120,"difficulty_score":32,"env_os":121,"env_gpu":122,"env_ram":123,"env_deps":124,"category_tags":130,"github_topics":131,"view_count":32,"oss_zip_url":74,"oss_zip_packed_at":74,"status":17,"created_at":150,"updated_at":151,"faqs":152,"releases":183},8008,"nndeploy\u002Fnndeploy","nndeploy","一款简单易用和高性能的AI部署框架 | An Easy-to-Use and High-Performance AI Deployment Framework","nndeploy 是一款专为 AI 算法落地打造的高性能部署框架，致力于解决模型从训练环境到多端设备（如桌面、手机、边缘计算盒子及服务器）高效迁移的难题。无论是传统的计算机视觉任务，还是参数量超过 10B 的大语言模型与 AIGC 应用，它都能提供流畅的运行支持。\n\n这款工具特别适合希望快速验证算法效果的 AI 研究人员、需要兼顾开发效率与运行性能的工程师，以及想要直观构建复杂处理流程的开发者。其核心亮点在于“可视化工作流”：用户无需编写大量底层代码，只需通过拖拽节点即可搭建并调试 AI 应用，参数调整实时可见。同时，nndeploy 并未牺牲性能，它内置了零拷贝、内存池复用等优化策略，并支持 C++\u002FCUDA 自定义节点开发。更强大的是，它深度集成了 ONNXRuntime、TensorRT、MNN 等 13 种主流推理引擎，实现“一次构建，多端运行”，让同一套工作流能灵活适配 Windows、Linux、Android、iOS 等多种操作系统与硬件平台，大幅降低了跨平台部署的技术门槛。","[English](README_EN.md) | 简体中文\n\n\u003Ch3 align=\"center\">\nnndeploy：一款简单易用和高性能的AI部署框架\n\u003C\u002Fh3>\n\n\u003Cp align=\"center\">\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fnndeploy\u002Fnndeploy\u002Factions\u002Fworkflows\u002Flinux.yml\">\n  \u003Cimg src=\"https:\u002F\u002Fgithub.com\u002Fnndeploy\u002Fnndeploy\u002Factions\u002Fworkflows\u002Flinux.yml\u002Fbadge.svg\" alt=\"Linux\" style=\"height: 16px;\">\n\u003C\u002Fa>\n \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fnndeploy\u002Fnndeploy\u002Factions\u002Fworkflows\u002Fwindows.yml\">\n  \u003Cimg src=\"https:\u002F\u002Fgithub.com\u002Fnndeploy\u002Fnndeploy\u002Factions\u002Fworkflows\u002Fwindows.yml\u002Fbadge.svg\" alt=\"Windows\" style=\"height: 16px;\">\n\u003C\u002Fa>\n \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fnndeploy\u002Fnndeploy\u002Factions\u002Fworkflows\u002Fandroid.yml\">\n  \u003Cimg src=\"https:\u002F\u002Fgithub.com\u002Fnndeploy\u002Fnndeploy\u002Factions\u002Fworkflows\u002Fandroid.yml\u002Fbadge.svg\" alt=\"Android\" style=\"height: 16px;\">\n\u003C\u002Fa>\n \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fnndeploy\u002Fnndeploy\u002Factions\u002Fworkflows\u002Fmacos.yml\">\n  \u003Cimg src=\"https:\u002F\u002Fgithub.com\u002Fnndeploy\u002Fnndeploy\u002Factions\u002Fworkflows\u002Fmacos.yml\u002Fbadge.svg\" alt=\"macOS\" style=\"height: 16px;\">\n\u003C\u002Fa>\n \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fnndeploy\u002Fnndeploy\u002Factions\u002Fworkflows\u002Fios.yml\">\n  \u003Cimg src=\"https:\u002F\u002Fgithub.com\u002Fnndeploy\u002Fnndeploy\u002Factions\u002Fworkflows\u002Fios.yml\u002Fbadge.svg\" alt=\"iOS\" style=\"height: 16px;\">\n\u003C\u002Fa>\n \u003C!-- \u003Ca href=\"https:\u002F\u002Fpepy.tech\u002Fprojects\u002Fnndeploy\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnndeploy_nndeploy_readme_c98bb057960a.png\" alt=\"PyPI Downloads\" style=\"height: 16px;\">\n\u003C\u002Fa> -->\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n\u003Ca href=\"https:\u002F\u002Fnndeploy-zh.readthedocs.io\u002Fzh-cn\u002Flatest\u002F\">\u003Cb>文档\u003C\u002Fb>\u003C\u002Fa> \n| \u003Ca href=\"https:\u002F\u002Fdeepwiki.com\u002Fnndeploy\u002Fnndeploy\">\u003Cb>Ask DeepWiki\u003C\u002Fb>\u003C\u002Fa>\n| \u003Ca href=\"docs\u002Fzh_cn\u002Fknowledge_shared\u002Fwechat.md\">\u003Cb>微信\u003C\u002Fb>\u003C\u002Fa> \n| \u003Ca href=\"https:\u002F\u002Fdiscord.gg\u002F9rUwfAaMbr\">\u003Cb>Discord\u003C\u002Fb>\u003C\u002Fa> \n\u003C!-- | \u003Ca href=\"https:\u002F\u002Fwww.zhihu.com\u002Fcolumn\u002Fc_1690464325314240512\">\u003Cb>知乎\u003C\u002Fb>\u003C\u002Fa>  -->\n\u003C!-- | \u003Ca href=\"https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1HU7CznE39\u002F?spm_id_from=333.1387.collection.video_card.click&vd_source=c5d7760172919cd367c00bf4e88d6f57\">\u003Cb>哔哩哔哩\u003C\u002Fb>\u003C\u002Fa>  -->\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n  \u003Cpicture>\n    \u003Csource media=\"(prefers-color-scheme: dark)\" srcset=\"docs\u002Fimage\u002Fworkflow.png\">\n    \u003Cimg alt=\"nndeploy\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnndeploy_nndeploy_readme_0e3185bc3bd8.gif\" width=100%>\n  \u003C\u002Fpicture>\n\u003C\u002Fp>\n\n---\n\n## 介绍\n\nnndeploy 是一款简单易用和高性能的 AI 部署框架。解决的是 AI 算法在端侧部署的问题，包含桌面端（Windows、macOS）、移动端（Android、iOS）、边缘计算设备（NVIDIA Jetson、Ascend310B、RK 等）以及单机服务器（RTX 系列、T4、Ascend310P 等），**基于可视化工作流和多端推理，可让 AI 算法在上述平台和硬件更高效、更高性能的落地。**\n\n**针对10B以上的大模型（如大语言模型和 AIGC 生成模型），nndeploy 适合作为一款可视化工作流工具。**\n\n### **简单易用**\n\n- **可视化工作流**：拖拽节点即可部署 AI 算法，参数实时可调，效果一目了然。\n- **自定义节点**：支持 Python\u002FC++自定义节点，无论是用 Python 实现预处理，还是用 C++\u002FCUDA 编写高性能节点，均可无缝集成到与可视化工作流。\n- **一键部署**：工作流支持导出为 JSON，可通过 C++\u002FPython API 调用，适用于 Linux、Windows、macOS、Android 等平台\n\n  \u003Ctable cellpadding=\"5\" cellspacing=\"0\" border=\"1\">\n  \u003Ctr>\n    \u003Ctd>桌面端搭建AI工作流\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fnndeploy\u002Fnndeploy\u002Fblob\u002Fmain\u002Fapp\u002Fandroid\u002FREADME.md\">移动端部署\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnndeploy_nndeploy_readme_07abb0eb6f0d.gif\" width=\"500px\">\u003C\u002Ftd>\n    \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnndeploy_nndeploy_readme_e20ac0d39509.jpg\" width=\"100px\">\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003C\u002Ftable>\n\n### **高性能**\n\n- **并行优化**：支持串行、流水线并行、任务并行等执行模式\n- **内存优化**：零拷贝、内存池、内存复用等优化策略\n- **高性能优化**：内置 C++\u002FCUDA\u002FAscend C\u002FSIMD 等优化实现的节点\n- **多端推理**：一套工作流适配多端推理，深度集成 13 种主流推理框架，全面覆盖云端服务器、桌面应用、移动设备、边缘计算等全平台部署场景。框架支持灵活选择推理引擎，可按需编译减少依赖，同时支持接入自定义推理框架的独立运行模式。\n\n  | 推理框架                                                                         | 状态 |\n  | :------------------------------------------------------------------------------- | :--- |\n  | [ONNXRuntime](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Fonnxruntime)                          | ✅    |\n  | [TensorRT](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FTensorRT)                                   | ✅    |\n  | [OpenVINO](https:\u002F\u002Fgithub.com\u002Fopenvinotoolkit\u002Fopenvino)                          | ✅    |\n  | [MNN](https:\u002F\u002Fgithub.com\u002Falibaba\u002FMNN)                                            | ✅    |\n  | [TNN](https:\u002F\u002Fgithub.com\u002FTencent\u002FTNN)                                            | ✅    |\n  | [ncnn](https:\u002F\u002Fgithub.com\u002FTencent\u002Fncnn)                                          | ✅    |\n  | [CoreML](https:\u002F\u002Fgithub.com\u002Fapple\u002Fcoremltools)                                   | ✅    |\n  | [AscendCL](https:\u002F\u002Fwww.hiascend.com\u002Fzh\u002F)                                         | ✅    |\n  | [RKNN](https:\u002F\u002Fwww.rock-chips.com\u002Fa\u002Fcn\u002Fdownloadcenter\u002FBriefDatasheet\u002Findex.html) | ✅    |\n  | [SNPE](https:\u002F\u002Fdeveloper.qualcomm.com\u002Fsoftware\u002Fqualcomm-neural-processing-sdk)   | ✅    |\n  | [TVM](https:\u002F\u002Fgithub.com\u002Fapache\u002Ftvm)                                             | ✅    |\n  | [PyTorch](https:\u002F\u002Fpytorch.org\u002F)                                                  | ✅    |\n  | [nndeploy内部推理子模块](docs\u002Fzh_cn\u002Fintroduction\u002FREADME_INFERENCE.md)               | ✅    |\n\n### **开箱即用的算法**\n\n已部署多类 AI 模型，并开发 100+可视化节点，实现开箱即用体验。随着部署节点数量的增加，节点库的复用性不断提升，这将显著降低后续算法部署的开发成本。我们还将持续部署更多具有实用价值的算法。\n\n| Application Scenario       | Available Models                                                                | Remarks                                                                         |\n| -------------------------- | ------------------------------------------------------------------------------- | ------------------------------------------------------------------------------- |\n| **Large Language Models**  | **QWen-2.5**, **QWen-3**                                                        | Support small B models                                                          |\n| **Image\u002FVideo Generation** | Stable Diffusion 1.5, Stable Diffusion XL, Stable Diffusion 3, HunyuanDiT, etc. | Support text-to-image, image-to-image, image inpainting, based on **diffusers** |\n| **Face Swapping**          | **deep-live-cam**                                                               |                                                                                 |\n| **OCR**                    | **Paddle OCR**                                                                  |                                                                                 |\n| **Object Detection**       | **YOLOv5, YOLOv6, YOLOv7, YOLOv8, YOLOv11, YOLOx**                              |                                                                                 |\n| **Object Tracking**        | FairMot                                                                         |                                                                                 |\n| **Image Segmentation**     | RBMGv1.4, PPMatting, **Segment Anything**                                       |                                                                                 |\n| **Classification**         | ResNet, MobileNet, EfficientNet, PPLcNet, GhostNet, ShuffleNet, SqueezeNet      |                                                                                 |\n| **API Services**           | OPENAI, DeepSeek, Moonshot                                                      | Support LLM and AIGC services                                                   |\n\n> 更多查看[已部署模型列表详解](docs\u002Fzh_cn\u002Fquick_start\u002Fmodel_list.md)\n\n## 快速开始\n\n- **步骤一：安装**\n\n  ```bash\n  pip install --upgrade nndeploy\n  ```\n\n- **步骤二：启动可视化界面**\n\n  ```bash\n  # 方式一：命令行\n  nndeploy-app --port 8000\n  # 方式二：代码启动\n  cd path\u002Fto\u002Fnndeploy\n  python app.py --port 8000\n  ```\n\n  启动成功后，打开 http:\u002F\u002Flocalhost:8000 即可访问工作流编辑器。在这里，你可以拖拽节点、调整参数、实时预览效果，所见即所得。\n\n  \u003Cp align=\"left\">\n    \u003Cpicture>\n      \u003Csource media=\"(prefers-color-scheme: dark)\" srcset=\"quick_start.gif\">\n      \u003Cimg alt=\"nndeploy\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnndeploy_nndeploy_readme_493a5a34671f.gif\" width=100%>\n    \u003C\u002Fpicture>\n  \u003C\u002Fp>\n\n- **步骤三：保存并加载运行**\n\n  在可视化界面中搭建、调试完成后，点击保存，工作流会导出 JSON 文件，文件中封装了所有的处理流程。你可以用以下两种方式在**生产环境**中运行：\n\n  - 方式一：命令行运行\n\n    用于调试\n\n    ```bash\n    # Python CLI\n    nndeploy-run-json --json_file path\u002Fto\u002Fworkflow.json\n    # C++ CLI\n    nndeploy_demo_run_json --json_file path\u002Fto\u002Fworkflow.json\n    ```\n\n  - 方式 2：在 Python\u002FC++ 代码中加载运行\n\n    可以将 JSON 文件集成到你现有的 Python 或 C++ 项目中，以下是一个加载和运行 LLM 工作流的示例代码：\n\n    - Python API 加载运行 LLM 工作流\n      ```Python\n      graph = nndeploy.dag.Graph(\"\")\n      graph.remove_in_out_node()\n      graph.load_file(\"path\u002Fto\u002Fllm_workflow.json\")\n      graph.init()\n      input = graph.get_input(0)\n      text = nndeploy.tokenizer.TokenizerText()\n      text.texts_ = [ \"\u003C|im_start|>user\\nPlease introduce NBA superstar Michael Jordan\u003C|im_end|>\\n\u003C|im_start|>assistant\\n\" ]\n      input.set(text)\n      status = graph.run()\n      output = graph.get_output(0)\n      result = output.get_graph_output()\n      graph.deinit()\n      ```\n    - C++ API 加载运行 LLM 工作流\n      ```C++\n      std::shared_ptr\u003Cdag::Graph> graph = std::make_shared\u003Cdag::Graph>(\"\");\n      base::Status status = graph->loadFile(\"path\u002Fto\u002Fllm_workflow.json\");\n      graph->removeInOutNode();\n      status = graph->init();\n      dag::Edge* input = graph->getInput(0);\n      tokenizer::TokenizerText* text = new tokenizer::TokenizerText();\n      text->texts_ = {\n          \"\u003C|im_start|>user\\nPlease introduce NBA superstar Michael Jordan\u003C|im_end|>\\n\u003C|im_start|>assistant\\n\"};\n      input->set(text, false);\n      status = graph->run();\n      dag::Edge* output = graph->getOutput(0);\n      tokenizer::TokenizerText* result =\n          output->getGraphOutput\u003Ctokenizer::TokenizerText>();\n      status = graph->deinit();\n      ```\n\n> 要求 Python 3.10+，默认包含 ONNXRuntime、MNN，更多推理后端请采用开发者模式。\n\n## 文档\n\n- [编译](docs\u002Fzh_cn\u002Fquick_start\u002Fbuild.md)\n- [可视化工作流](docs\u002Fzh_cn\u002Fquick_start\u002Fworkflow.md)\n- [最佳实践](docs\u002Fzh_cn\u002Fquick_start\u002Fdeploy.md)\n- [Python 自定义节点开发手册](docs\u002Fzh_cn\u002Fquick_start\u002Fplugin_python.md)\n- [C++自定义节点开发手册](docs\u002Fzh_cn\u002Fquick_start\u002Fplugin.md)\n- [接入新推理框架](docs\u002Fzh_cn\u002Fdeveloper_guide\u002Fhow_to_support_new_inference.md)\n  \n## 性能测试\n\n测试环境：Ubuntu 22.04，i7-12700，RTX3060\n\n- **流水线并行加速**。以 YOLOv11s 端到端工作流总耗时，串行 vs 流水线并行\n\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnndeploy_nndeploy_readme_7cf1e2eb8610.png\" width=\"60%\">\n\n  | 运行方式\\推理引擎 | ONNXRuntime | OpenVINO  | TensorRT  |\n  | ----------------- | ----------- | --------- | --------- |\n  | 串行              | 54.803 ms   | 34.139 ms | 13.213 ms |\n  | 流水线并行        | 47.283 ms   | 29.666 ms | 5.681 ms  |\n  | 性能提升          | 13.7%       | 13.1%     | 57%       |\n\n- **任务并行加速**。组合任务(分割 RMBGv1.4+检测 YOLOv11s+分类 ResNet50)的端到端总耗时，串行 vs 任务并行\n\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnndeploy_nndeploy_readme_734bc1b69e29.png\" width=\"60%\">\n\n  | 运行方式\\推理引擎 | ONNXRuntime | OpenVINO   | TensorRT  |\n  | ----------------- | ----------- | ---------- | --------- |\n  | 串行              | 654.315 ms  | 489.934 ms | 59.140 ms |\n  | 任务并行          | 602.104 ms  | 435.181 ms | 51.883 ms |\n  | 性能提升          | 7.98%       | 11.2%      | 12.2%     |\n\n## 下一步计划\n\n- [工作流生态](https:\u002F\u002Fgithub.com\u002Fnndeploy\u002Fnndeploy\u002Fissues\u002F191)\n- [端侧大模型推理](https:\u002F\u002Fgithub.com\u002Fnndeploy\u002Fnndeploy\u002Fissues\u002F161)\n- [架构优化](https:\u002F\u002Fgithub.com\u002Fnndeploy\u002Fnndeploy\u002Fissues\u002F189)\n- [AI Box](https:\u002F\u002Fgithub.com\u002Fnndeploy\u002Fnndeploy\u002Fissues\u002F190)\n\n## 联系我们\n\n- 如果你热爱开源、喜欢折腾，不论是出于学习目的，亦或是有更好的想法，欢迎加入我们\n\n- 微信：Always031856（欢迎加好友，进群交流，备注：nndeploy\\_姓名）\n\n## 致谢\n\n- 感谢以下项目：[TNN](https:\u002F\u002Fgithub.com\u002FTencent\u002FTNN)、[FastDeploy](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FFastDeploy)、[opencv](https:\u002F\u002Fgithub.com\u002Fopencv\u002Fopencv)、[CGraph](https:\u002F\u002Fgithub.com\u002FChunelFeng\u002FCGraph)、[tvm](https:\u002F\u002Fgithub.com\u002Fapache\u002Ftvm)、[mmdeploy](https:\u002F\u002Fgithub.com\u002Fopen-mmlab\u002Fmmdeploy)、[FlyCV](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FFlyCV)、[oneflow](https:\u002F\u002Fgithub.com\u002FOneflow-Inc\u002Foneflow)、[flowgram.ai](https:\u002F\u002Fgithub.com\u002Fbytedance\u002Fflowgram.ai)、[deep-live-cam](https:\u002F\u002Fgithub.com\u002Fhacksider\u002FDeep-Live-Cam)。\n\n- 感谢[HelloGithub](https:\u002F\u002Fhellogithub.com\u002Frepository\u002Fnndeploy\u002Fnndeploy)推荐\n\n  \u003Ca href=\"https:\u002F\u002Fhellogithub.com\u002Frepository\u002F314bf8e426314dde86a8c62ea5869cb7\" target=\"_blank\">\u003Cimg src=\"https:\u002F\u002Fabroad.hellogithub.com\u002Fv1\u002Fwidgets\u002Frecommend.svg?rid=314bf8e426314dde86a8c62ea5869cb7&claim_uid=mu47rJbh15yQlAs\" alt=\"Featured｜HelloGitHub\" style=\"width: 250px; height: 54px;\" width=\"250\" height=\"54\" \u002F>\u003C\u002Fa>\n\n## 贡献者\n\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fnndeploy\u002Fnndeploy\u002Fgraphs\u002Fcontributors\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnndeploy_nndeploy_readme_9623233327ff.png\" \u002F>\n\u003C\u002Fa>\n\n[![Star History Chart](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnndeploy_nndeploy_readme_125a60de2ea1.png)](https:\u002F\u002Fstar-history.com\u002F#nndeploy\u002Fnndeploy)\n","[English](README_EN.md) | 简体中文\n\n\u003Ch3 align=\"center\">\nnndeploy：一款简单易用和高性能的AI部署框架\n\u003C\u002Fh3>\n\n\u003Cp align=\"center\">\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fnndeploy\u002Fnndeploy\u002Factions\u002Fworkflows\u002Flinux.yml\">\n  \u003Cimg src=\"https:\u002F\u002Fgithub.com\u002Fnndeploy\u002Fnndeploy\u002Factions\u002Fworkflows\u002Flinux.yml\u002Fbadge.svg\" alt=\"Linux\" style=\"height: 16px;\">\n\u003C\u002Fa>\n \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fnndeploy\u002Fnndeploy\u002Factions\u002Fworkflows\u002Fwindows.yml\">\n  \u003Cimg src=\"https:\u002F\u002Fgithub.com\u002Fnndeploy\u002Fnndeploy\u002Factions\u002Fworkflows\u002Fwindows.yml\u002Fbadge.svg\" alt=\"Windows\" style=\"height: 16px;\">\n\u003C\u002Fa>\n \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fnndeploy\u002Fnndeploy\u002Factions\u002Fworkflows\u002Fandroid.yml\">\n  \u003Cimg src=\"https:\u002F\u002Fgithub.com\u002Fnndeploy\u002Fnndeploy\u002Factions\u002Fworkflows\u002Fandroid.yml\u002Fbadge.svg\" alt=\"Android\" style=\"height: 16px;\">\n\u003C\u002Fa>\n \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fnndeploy\u002Fnndeploy\u002Factions\u002Fworkflows\u002Fmacos.yml\">\n  \u003Cimg src=\"https:\u002F\u002Fgithub.com\u002Fnndeploy\u002Fnndeploy\u002Factions\u002Fworkflows\u002Fmacos.yml\u002Fbadge.svg\" alt=\"macOS\" style=\"height: 16px;\">\n\u003C\u002Fa>\n \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fnndeploy\u002Fnndeploy\u002Factions\u002Fworkflows\u002Fios.yml\">\n  \u003Cimg src=\"https:\u002F\u002Fgithub.com\u002Fnndeploy\u002Fnndeploy\u002Factions\u002Fworkflows\u002Fios.yml\u002Fbadge.svg\" alt=\"iOS\" style=\"height: 16px;\">\n\u003C\u002Fa>\n \u003C!-- \u003Ca href=\"https:\u002F\u002Fpepy.tech\u002Fprojects\u002Fnndeploy\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnndeploy_nndeploy_readme_c98bb057960a.png\" alt=\"PyPI Downloads\" style=\"height: 16px;\">\n\u003C\u002Fa> -->\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n\u003Ca href=\"https:\u002F\u002Fnndeploy-zh.readthedocs.io\u002Fzh-cn\u002Flatest\u002F\">\u003Cb>文档\u003C\u002Fb>\u003C\u002Fa> \n| \u003Ca href=\"https:\u002F\u002Fdeepwiki.com\u002Fnndeploy\u002Fnndeploy\">\u003Cb>Ask DeepWiki\u003C\u002Fb>\u003C\u002Fa>\n| \u003Ca href=\"docs\u002Fzh_cn\u002Fknowledge_shared\u002Fwechat.md\">\u003Cb>微信\u003C\u002Fb>\u003C\u002Fa> \n| \u003Ca href=\"https:\u002F\u002Fdiscord.gg\u002F9rUwfAaMbr\">\u003Cb>Discord\u003C\u002Fb>\u003C\u002Fa> \n\u003C!-- | \u003Ca href=\"https:\u002F\u002Fwww.zhihu.com\u002Fcolumn\u002Fc_1690464325314240512\">\u003Cb>知乎\u003C\u002Fb>\u003C\u002Fa>  -->\n\u003C!-- | \u003Ca href=\"https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1HU7CznE39\u002F?spm_id_from=333.1387.collection.video_card.click&vd_source=c5d7760172919cd367c00bf4e88d6f57\">\u003Cb>哔哩哔哩\u003C\u002Fb>\u003C\u002Fa>  -->\n\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n  \u003Cpicture>\n    \u003Csource media=\"(prefers-color-scheme: dark)\" srcset=\"docs\u002Fimage\u002Fworkflow.png\">\n    \u003Cimg alt=\"nndeploy\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnndeploy_nndeploy_readme_0e3185bc3bd8.gif\" width=100%>\n  \u003C\u002Fpicture>\n\u003C\u002Fp>\n\n---\n\n## 介绍\n\nnndeploy 是一款简单易用和高性能的 AI 部署框架。解决的是 AI 算法在端侧部署的问题，包含桌面端（Windows、macOS）、移动端（Android、iOS）、边缘计算设备（NVIDIA Jetson、Ascend310B、RK 等）以及单机服务器（RTX 系列、T4、Ascend310P 等），**基于可视化工作流和多端推理，可让 AI 算法在上述平台和硬件更高效、更高性能的落地。**\n\n**针对10B以上的大模型（如大语言模型和 AIGC 生成模型），nndeploy 适合作为一款可视化工作流工具。**\n\n### **简单易用**\n\n- **可视化工作流**：拖拽节点即可部署 AI 算法，参数实时可调，效果一目了然。\n- **自定义节点**：支持 Python\u002FC++自定义节点，无论是用 Python 实现预处理，还是用 C++\u002FCUDA 编写高性能节点，均可无缝集成到与可视化工作流。\n- **一键部署**：工作流支持导出为 JSON，可通过 C++\u002FPython API 调用，适用于 Linux、Windows、macOS、Android 等平台\n\n  \u003Ctable cellpadding=\"5\" cellspacing=\"0\" border=\"1\">\n  \u003Ctr>\n    \u003Ctd>桌面端搭建AI工作流\u003C\u002Ftd>\n    \u003Ctd>\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fnndeploy\u002Fnndeploy\u002Fblob\u002Fmain\u002Fapp\u002Fandroid\u002FREADME.md\">移动端部署\u003C\u002Fa>\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003Ctr>\n    \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnndeploy_nndeploy_readme_07abb0eb6f0d.gif\" width=\"500px\">\u003C\u002Ftd>\n    \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnndeploy_nndeploy_readme_e20ac0d39509.jpg\" width=\"100px\">\u003C\u002Ftd>\n  \u003C\u002Ftr>\n  \u003C\u002Ftable>\n\n### **高性能**\n\n- **并行优化**：支持串行、流水线并行、任务并行等执行模式\n- **内存优化**：零拷贝、内存池、内存复用等优化策略\n- **高性能优化**：内置 C++\u002FCUDA\u002FAscend C\u002FSIMD 等优化实现的节点\n- **多端推理**：一套工作流适配多端推理，深度集成 13 种主流推理框架，全面覆盖云端服务器、桌面应用、移动设备、边缘计算等全平台部署场景。框架支持灵活选择推理引擎，可按需编译减少依赖，同时支持接入自定义推理框架的独立运行模式。\n\n  | 推理框架                                                                         | 状态 |\n  | :------------------------------------------------------------------------------- | :--- |\n  | [ONNXRuntime](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Fonnxruntime)                          | ✅    |\n  | [TensorRT](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FTensorRT)                                   | ✅    |\n  | [OpenVINO](https:\u002F\u002Fgithub.com\u002Fopenvinotoolkit\u002Fopenvino)                          | ✅    |\n  | [MNN](https:\u002F\u002Fgithub.com\u002Falibaba\u002FMNN)                                            | ✅    |\n  | [TNN](https:\u002F\u002Fgithub.com\u002FTencent\u002FTNN)                                            | ✅    |\n  | [ncnn](https:\u002F\u002Fgithub.com\u002FTencent\u002Fncnn)                                          | ✅    |\n  | [CoreML](https:\u002F\u002Fgithub.com\u002Fapple\u002Fcoremltools)                                   | ✅    |\n  | [AscendCL](https:\u002F\u002Fwww.hiascend.com\u002Fzh\u002F)                                         | ✅    |\n  | [RKNN](https:\u002F\u002Fwww.rock-chips.com\u002Fa\u002Fcn\u002Fdownloadcenter\u002FBriefDatasheet\u002Findex.html) | ✅    |\n  | [SNPE](https:\u002F\u002Fdeveloper.qualcomm.com\u002Fsoftware\u002Fqualcomm-neural-processing-sdk)   | ✅    |\n  | [TVM](https:\u002F\u002Fgithub.com\u002Fapache\u002Ftvm)                                             | ✅    |\n  | [PyTorch](https:\u002F\u002Fpytorch.org\u002F)                                                  | ✅    |\n  | [nndeploy内部推理子模块](docs\u002Fzh_cn\u002Fintroduction\u002FREADME_INFERENCE.md)               | ✅    |\n\n### **开箱即用的算法**\n\n已部署多类 AI 模型，并开发 100+可视化节点，实现开箱即用体验。随着部署节点数量的增加，节点库的复用性不断提升，这将显著降低后续算法部署的开发成本。我们还将持续部署更多具有实用价值的算法。\n\n| Application Scenario       | Available Models                                                                | Remarks                                                                         |\n| -------------------------- | ------------------------------------------------------------------------------- | ------------------------------------------------------------------------------- |\n| **Large Language Models**  | **QWen-2.5**, **QWen-3**                                                        | Support small B models                                                          |\n| **Image\u002FVideo Generation** | Stable Diffusion 1.5, Stable Diffusion XL, Stable Diffusion 3, HunyuanDiT, etc. | Support text-to-image, image-to-image, image inpainting, based on **diffusers** |\n| **Face Swapping**          | **deep-live-cam**                                                               |                                                                                 |\n| **OCR**                    | **Paddle OCR**                                                                  |                                                                                 |\n| **Object Detection**       | **YOLOv5, YOLOv6, YOLOv7, YOLOv8, YOLOv11, YOLOx**                              |                                                                                 |\n| **Object Tracking**        | FairMot                                                                         |                                                                                 |\n| **Image Segmentation**     | RBMGv1.4, PPMatting, **Segment Anything**                                       |                                                                                 |\n| **Classification**         | ResNet, MobileNet, EfficientNet, PPLcNet, GhostNet, ShuffleNet, SqueezeNet      |                                                                                 |\n| **API Services**           | OPENAI, DeepSeek, Moonshot                                                      | Support LLM and AIGC services                                                   |\n\n> 更多查看[已部署模型列表详解](docs\u002Fzh_cn\u002Fquick_start\u002Fmodel_list.md)\n\n## 快速开始\n\n- **步骤一：安装**\n\n  ```bash\n  pip install --upgrade nndeploy\n  ```\n\n- **步骤二：启动可视化界面**\n\n  ```bash\n  # 方式一：命令行\n  nndeploy-app --port 8000\n  # 方式二：代码启动\n  cd path\u002Fto\u002Fnndeploy\n  python app.py --port 8000\n  ```\n\n  启动成功后，打开 http:\u002F\u002Flocalhost:8000 即可访问工作流编辑器。在这里，你可以拖拽节点、调整参数、实时预览效果，所见即所得。\n\n  \u003Cp align=\"left\">\n    \u003Cpicture>\n      \u003Csource media=\"(prefers-color-scheme: dark)\" srcset=\"quick_start.gif\">\n      \u003Cimg alt=\"nndeploy\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnndeploy_nndeploy_readme_493a5a34671f.gif\" width=100%>\n    \u003C\u002Fpicture>\n  \u003C\u002Fp>\n\n- **步骤三：保存并加载运行**\n\n  在可视化界面中搭建、调试完成后，点击保存，工作流会导出 JSON 文件，文件中封装了所有的处理流程。你可以用以下两种方式在**生产环境**中运行：\n\n  - 方式一：命令行运行\n\n    用于调试\n\n    ```bash\n    # Python CLI\n    nndeploy-run-json --json_file path\u002Fto\u002Fworkflow.json\n    # C++ CLI\n    nndeploy_demo_run_json --json_file path\u002Fto\u002Fworkflow.json\n    ```\n\n  - 方式 2：在 Python\u002FC++ 代码中加载运行\n\n    可以将 JSON 文件集成到你现有的 Python 或 C++ 项目中，以下是一个加载和运行 LLM 工作流的示例代码：\n\n    - Python API 加载运行 LLM 工作流\n      ```Python\n      graph = nndeploy.dag.Graph(\"\")\n      graph.remove_in_out_node()\n      graph.load_file(\"path\u002Fto\u002Fllm_workflow.json\")\n      graph.init()\n      input = graph.get_input(0)\n      text = nndeploy.tokenizer.TokenizerText()\n      text.texts_ = [ \"\u003C|im_start|>user\\nPlease introduce NBA superstar Michael Jordan\u003C|im_end|>\\n\u003C|im_start|>assistant\\n\" ]\n      input.set(text)\n      status = graph.run()\n      output = graph.get_output(0)\n      result = output.get_graph_output()\n      graph.deinit()\n      ```\n    - C++ API 加载运行 LLM 工作流\n      ```C++\n      std::shared_ptr\u003Cdag::Graph> graph = std::make_shared\u003Cdag::Graph>(\"\");\n      base::Status status = graph->loadFile(\"path\u002Fto\u002Fllm_workflow.json\");\n      graph->removeInOutNode();\n      status = graph->init();\n      dag::Edge* input = graph->getInput(0);\n      tokenizer::TokenizerText* text = new tokenizer::TokenizerText();\n      text->texts_ = {\n          \"\u003C|im_start|>user\\nPlease introduce NBA superstar Michael Jordan\u003C|im_end|>\\n\u003C|im_start|>assistant\\n\"};\n      input->set(text, false);\n      status = graph->run();\n      dag::Edge* output = graph->getOutput(0);\n      tokenizer::TokenizerText* result =\n          output->getGraphOutput\u003Ctokenizer::TokenizerText>();\n      status = graph->deinit();\n      ```\n\n> 要求 Python 3.10+，默认包含 ONNXRuntime、MNN，更多推理后端请采用开发者模式。\n\n## 文档\n\n- [编译](docs\u002Fzh_cn\u002Fquick_start\u002Fbuild.md)\n- [可视化工作流](docs\u002Fzh_cn\u002Fquick_start\u002Fworkflow.md)\n- [最佳实践](docs\u002Fzh_cn\u002Fquick_start\u002Fdeploy.md)\n- [Python 自定义节点开发手册](docs\u002Fzh_cn\u002Fquick_start\u002Fplugin_python.md)\n- [C++自定义节点开发手册](docs\u002Fzh_cn\u002Fquick_start\u002Fplugin.md)\n- [接入新推理框架](docs\u002Fzh_cn\u002Fdeveloper_guide\u002Fhow_to_support_new_inference.md)\n  \n## 性能测试\n\n测试环境：Ubuntu 22.04，i7-12700，RTX3060\n\n- **流水线并行加速**。以 YOLOv11s 端到端工作流总耗时，串行 vs 流水线并行\n\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnndeploy_nndeploy_readme_7cf1e2eb8610.png\" width=\"60%\">\n\n  | 运行方式\\推理引擎 | ONNXRuntime | OpenVINO  | TensorRT  |\n  | ----------------- | ----------- | --------- | --------- |\n  | 串行              | 54.803 ms   | 34.139 ms | 13.213 ms |\n  | 流水线并行        | 47.283 ms   | 29.666 ms | 5.681 ms  |\n  | 性能提升          | 13.7%       | 13.1%     | 57%       |\n\n- **任务并行加速**。组合任务(分割 RMBGv1.4+检测 YOLOv11s+分类 ResNet50)的端到端总耗时，串行 vs 任务并行\n\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnndeploy_nndeploy_readme_734bc1b69e29.png\" width=\"60%\">\n\n  | 运行方式\\推理引擎 | ONNXRuntime | OpenVINO   | TensorRT  |\n  | ----------------- | ----------- | ---------- | --------- |\n  | 串行              | 654.315 ms  | 489.934 ms | 59.140 ms |\n  | 任务并行          | 602.104 ms  | 435.181 ms | 51.883 ms |\n  | 性能提升          | 7.98%       | 11.2%      | 12.2%     |\n\n## 下一步计划\n\n- [工作流生态](https:\u002F\u002Fgithub.com\u002Fnndeploy\u002Fnndeploy\u002Fissues\u002F191)\n- [端侧大模型推理](https:\u002F\u002Fgithub.com\u002Fnndeploy\u002Fnndeploy\u002Fissues\u002F161)\n- [架构优化](https:\u002F\u002Fgithub.com\u002Fnndeploy\u002Fnndeploy\u002Fissues\u002F189)\n- [AI Box](https:\u002F\u002Fgithub.com\u002Fnndeploy\u002Fnndeploy\u002Fissues\u002F190)\n\n## 联系我们\n\n- 如果你热爱开源、喜欢折腾，不论是出于学习目的，亦或是有更好的想法，欢迎加入我们\n\n- 微信：Always031856（欢迎加好友，进群交流，备注：nndeploy\\_姓名）\n\n## 致谢\n\n- 感谢以下项目：[TNN](https:\u002F\u002Fgithub.com\u002FTencent\u002FTNN)、[FastDeploy](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FFastDeploy)、[opencv](https:\u002F\u002Fgithub.com\u002Fopencv\u002Fopencv)、[CGraph](https:\u002F\u002Fgithub.com\u002FChunelFeng\u002FCGraph)、[tvm](https:\u002F\u002Fgithub.com\u002Fapache\u002Ftvm)、[mmdeploy](https:\u002F\u002Fgithub.com\u002Fopen-mmlab\u002Fmmdeploy)、[FlyCV](https:\u002F\u002Fgithub.com\u002FPaddlePaddle\u002FFlyCV)、[oneflow](https:\u002F\u002Fgithub.com\u002FOneflow-Inc\u002Foneflow)、[flowgram.ai](https:\u002F\u002Fgithub.com\u002Fbytedance\u002Fflowgram.ai)、[deep-live-cam](https:\u002F\u002Fgithub.com\u002Fhacksider\u002FDeep-Live-Cam)。\n\n- 感谢[HelloGithub](https:\u002F\u002Fhellogithub.com\u002Frepository\u002Fnndeploy\u002Fnndeploy)推荐\n\n  \u003Ca href=\"https:\u002F\u002Fhellogithub.com\u002Frepository\u002F314bf8e426314dde86a8c62ea5869cb7\" target=\"_blank\">\u003Cimg src=\"https:\u002F\u002Fabroad.hellogithub.com\u002Fv1\u002Fwidgets\u002Frecommend.svg?rid=314bf8e426314dde86a8c62ea5869cb7&claim_uid=mu47rJbh15yQlAs\" alt=\"Featured｜HelloGitHub\" style=\"width: 250px; height: 54px;\" width=\"250\" height=\"54\" \u002F>\u003C\u002Fa>\n\n## 贡献者\n\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fnndeploy\u002Fnndeploy\u002Fgraphs\u002Fcontributors\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnndeploy_nndeploy_readme_9623233327ff.png\" \u002F>\n\u003C\u002Fa>\n\n[![Star History Chart](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnndeploy_nndeploy_readme_125a60de2ea1.png)](https:\u002F\u002Fstar-history.com\u002F#nndeploy\u002Fnndeploy)","# nndeploy 快速上手指南\n\nnndeploy 是一款简单易用、高性能的 AI 部署框架，支持可视化工作流编排，覆盖桌面端、移动端及边缘计算设备。\n\n## 1. 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**：Linux (Ubuntu 22.04 推荐), Windows, macOS, Android, iOS\n*   **Python 版本**：Python 3.10 或更高版本\n*   **硬件建议**：\n    *   基础运行：通用 CPU\n    *   高性能推理：NVIDIA GPU (需安装对应 CUDA)、华为 Ascend、Rockchip NPU 等（根据具体推理后端需求配置驱动）\n*   **前置依赖**：默认安装包已包含 ONNXRuntime 和 MNN 推理后端。若需使用 TensorRT、OpenVINO 等其他后端，请参考官方文档进行开发者模式编译。\n\n> **提示**：国内用户若遇到 pip 下载缓慢，建议使用清华或阿里镜像源加速安装。\n\n## 2. 安装步骤\n\n通过 pip 一键安装最新版本的 nndeploy：\n\n```bash\npip install --upgrade nndeploy -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n## 3. 基本使用\n\nnndeploy 的核心优势在于**可视化工作流**。您可以先通过图形界面拖拽节点搭建算法流程，调试完成后导出为 JSON，再在生产环境中通过代码加载运行。\n\n### 第一步：启动可视化界面\n\n安装完成后，通过命令行启动本地服务：\n\n```bash\nnndeploy-app --port 8000\n```\n\n或者进入源码目录运行：\n\n```bash\ncd path\u002Fto\u002Fnndeploy\npython app.py --port 8000\n```\n\n启动成功后，在浏览器访问 `http:\u002F\u002Flocalhost:8000`。您将看到工作流编辑器，可以拖拽节点（如 YOLO 检测、LLM 对话、图像分割等）、调整参数并实时预览效果。\n\n### 第二步：保存工作流\n\n在可视化界面中完成模型搭建与调试后，点击**保存**按钮。系统将生成一个 `.json` 文件（例如 `workflow.json`），该文件封装了完整的处理逻辑。\n\n### 第三步：生产环境运行\n\n您可以将生成的 JSON 文件集成到 Python 或 C++ 项目中直接运行。以下是加载并运行一个大语言模型（LLM）工作流的示例：\n\n#### 方式一：Python API 调用\n\n```python\nimport nndeploy\nfrom nndeploy.tokenizer import TokenizerText\n\n# 初始化图结构\ngraph = nndeploy.dag.Graph(\"\")\ngraph.remove_in_out_node()\n\n# 加载保存的工作流 JSON 文件\ngraph.load_file(\"path\u002Fto\u002Fllm_workflow.json\")\n\n# 初始化并设置输入\ngraph.init()\ninput_node = graph.get_input(0)\ntext = TokenizerText()\ntext.texts_ = [\"\u003C|im_start|>user\\nPlease introduce NBA superstar Michael Jordan\u003C|im_end|>\\n\u003C|im_start|>assistant\\n\"]\ninput_node.set(text)\n\n# 执行推理\nstatus = graph.run()\n\n# 获取输出\noutput_node = graph.get_output(0)\nresult = output_node.get_graph_output()\n\n# 清理资源\ngraph.deinit()\n```\n\n#### 方式二：C++ API 调用\n\n```cpp\n#include \"nndeploy\u002Fdag\u002Fgraph.h\"\n#include \"nndeploy\u002Ftokenizer\u002Ftokenizer_text.h\"\n\n\u002F\u002F 创建图对象\nstd::shared_ptr\u003Cdag::Graph> graph = std::make_shared\u003Cdag::Graph>(\"\");\n\n\u002F\u002F 加载工作流文件\nbase::Status status = graph->loadFile(\"path\u002Fto\u002Fllm_workflow.json\");\ngraph->removeInOutNode();\n\n\u002F\u002F 初始化\nstatus = graph->init();\n\n\u002F\u002F 设置输入数据\ndag::Edge* input = graph->getInput(0);\ntokenizer::TokenizerText* text = new tokenizer::TokenizerText();\ntext->texts_ = {\n    \"\u003C|im_start|>user\\nPlease introduce NBA superstar Michael Jordan\u003C|im_end|>\\n\u003C|im_start|>assistant\\n\"};\ninput->set(text, false);\n\n\u002F\u002F 执行推理\nstatus = graph->run();\n\n\u002F\u002F 获取结果\ndag::Edge* output = graph->getOutput(0);\ntokenizer::TokenizerText* result = output->getGraphOutput\u003Ctokenizer::TokenizerText>();\n\n\u002F\u002F 释放资源\nstatus = graph->deinit();\n```\n\n#### 方式三：命令行直接运行（用于快速调试）\n\n如果您只想快速验证 JSON 文件是否可用，可直接使用内置命令：\n\n```bash\n# Python 环境运行\nnndeploy-run-json --json_file path\u002Fto\u002Fworkflow.json\n\n# C++ 环境运行\nnndeploy_demo_run_json --json_file path\u002Fto\u002Fworkflow.json\n```","某智慧零售团队需要将实验室训练好的商品识别与背景移除模型，快速部署到门店的 Android 平板和边缘计算盒子上，以支持实时货架分析。\n\n### 没有 nndeploy 时\n- **多端适配痛苦**：开发人员需分别为 Android (Java\u002FKotlin)、边缘设备 (C++) 编写重复的推理代码，维护多套工程，耗时且易出错。\n- **性能调优门槛高**：难以直接利用 TensorRT 或 MNN 等底层加速库，导致模型在移动端推理延迟高，无法达到实时流畅效果。\n- **算法迭代缓慢**：每次调整预处理逻辑或更换模型，都需要重新编译打包整个应用，验证周期长达数小时，严重拖慢研发节奏。\n- **内存管理复杂**：在多视频流并发场景下，频繁的数据拷贝导致内存溢出，稳定性差，崩溃问题频发。\n\n### 使用 nndeploy 后\n- **一套工作流通吃多端**：通过可视化拖拽构建一次 AI 处理流程，即可一键导出并部署到 Android 平板和边缘盒子，无需重写核心逻辑。\n- **内置高性能引擎**：直接调用框架集成的 TensorRT 和 MNN 后端，结合零拷贝与内存池技术，将单帧推理耗时从 200ms 降至 40ms。\n- **热调试与快速迭代**：利用可视化界面实时调整节点参数和预处理脚本，效果立竿见影，将算法验证时间从小时级缩短至分钟级。\n- **稳定并发处理**：借助框架自带的流水线并行机制和内存复用策略，轻松支撑多路摄像头同时分析，系统连续运行无崩溃。\n\nnndeploy 通过可视化工作流与深度优化的多端推理能力，让 AI 算法从实验室到真实硬件的落地效率提升了数倍。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fnndeploy_nndeploy_0e3185bc.gif","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fnndeploy_2e05710c.png","AI Deployment",null,"https:\u002F\u002Fgithub.com\u002Fnndeploy",[77,81,85,89,93,97,101,105,109,113],{"name":78,"color":79,"percentage":80},"C++","#f34b7d",58.2,{"name":82,"color":83,"percentage":84},"Python","#3572A5",19.3,{"name":86,"color":87,"percentage":88},"TypeScript","#3178c6",10.4,{"name":90,"color":91,"percentage":92},"C","#555555",6.6,{"name":94,"color":95,"percentage":96},"CMake","#DA3434",3.1,{"name":98,"color":99,"percentage":100},"Kotlin","#A97BFF",1.1,{"name":102,"color":103,"percentage":104},"SCSS","#c6538c",0.6,{"name":106,"color":107,"percentage":108},"Cuda","#3A4E3A",0.3,{"name":110,"color":111,"percentage":112},"Objective-C++","#6866fb",0.2,{"name":114,"color":115,"percentage":116},"Shell","#89e051",0.1,1785,214,"2026-04-15T12:24:01","Apache-2.0","Linux, Windows, macOS, Android, iOS","非必需（支持 CPU 推理）。若使用 GPU 加速，支持 NVIDIA (CUDA), Ascend, Rockchip NPU 等。具体显存和 CUDA 版本取决于所选推理后端（如 TensorRT, ONNXRuntime）及运行的模型大小（例如运行 10B+ 大模型需较高显存）。","未说明（取决于运行模型的大小，大模型需要更大内存）",{"notes":125,"python":126,"dependencies":127},"该框架支持多端部署（桌面、移动、边缘设备、服务器）。默认安装包含 ONNXRuntime 和 MNN 推理后端，若需使用 TensorRT、OpenVINO、AscendCL 等其他 11 种推理框架，需采用开发者模式自行编译。支持可视化工作流编排，可导出 JSON 通过 C++\u002FPython API 在生产环境运行。针对 10B 以上大模型提供可视化工作流支持。","3.10+",[64,128,129],"ONNXRuntime (默认)","MNN (默认)",[14,15,13,35],[132,133,134,135,136,137,138,139,140,141,142,143,144,145,146,147,148,149],"ai","ascend","deep-learning","deployment","diffusers","genai","llm","low-code","low-code-platform","mnn","no-code","onnxruntime","openvino","python","pytorch","tensorrt","transformer","workflow","2026-03-27T02:49:30.150509","2026-04-16T15:58:29.169968",[153,158,163,168,173,178],{"id":154,"question_zh":155,"answer_zh":156,"source_url":157},35859,"运行纯 CPU 后端推理时，使用动态输入的 ONNX 模型报错或失败怎么办？","这是因为动态输入的参数没有正确传递到网络（net）中，网络在初始化后才进行推理。解决方法是在模型初始化阶段，必须显式地给模型指定一个固定的输入 shape（输入形状），不能直接使用动态输入模型而不设置尺寸。","https:\u002F\u002Fgithub.com\u002Fnndeploy\u002Fnndeploy\u002Fissues\u002F181",{"id":159,"question_zh":160,"answer_zh":161,"source_url":162},35860,"运行 demo 程序时出现 'Segmentation fault (core dumped)' 段错误如何解决？","建议尝试使用项目提供的最新 Docker 环境运行，以避免本地依赖缺失问题。如果是构建 Docker 镜像时出错，通常是因为缺少 'packaging' Python 库。请在 Dockerfile 的 pip install 命令中添加该包：\nRUN pip install pybind11 setuptools wheel cython requests pathlib packaging","https:\u002F\u002Fgithub.com\u002Fnndeploy\u002Fnndeploy\u002Fissues\u002F198",{"id":164,"question_zh":165,"answer_zh":166,"source_url":167},35861,"使用 Pipeline 模式运行 Detect 样例时，程序卡在 getGraphOutputParam 处不动怎么办？","该问题通常由两个原因导致：\n1. 图像解码节点没有输入边，采用外部传参方式时与多线程产生冲突。可以尝试注释掉代码中的 graph->dump(); 语句。\n2. 模型版本或输入输出名称不匹配。请确认使用的 .om 模型是否为对应的 YOLO 版本（如 YOLOv11），并检查命令行参数 --model_inputs 和 --model_outputs 的名称是否与模型实际定义的名称（如 images, output0）完全一致。","https:\u002F\u002Fgithub.com\u002Fnndeploy\u002Fnndeploy\u002Fissues\u002F162",{"id":169,"question_zh":170,"answer_zh":171,"source_url":172},35862,"在 Windows (VS2022) 下编译 C++ 插件系统时，为什么 getNodeKeys() 打印不出自定义节点（如 YoloGraph）？","这是 Windows 下的符号依赖和懒加载机制导致的。如果编译器没有显式调用插件中的类，全局注册的工厂函数可能不会被加载，导致节点注册失效。\n解决方法：\n1. 确保链接了正确的插件库（如 nndeploy_plugin_detect.lib）。\n2. 在代码中显式引用插件类以强制加载，或者检查 NodeFactory 的创建逻辑。\n3. 注意：最新版本已修复此问题，Windows 下不再强依赖特定符号加载机制，建议升级到最新版。","https:\u002F\u002Fgithub.com\u002Fnndeploy\u002Fnndeploy\u002Fissues\u002F225",{"id":174,"question_zh":175,"answer_zh":176,"source_url":177},35863,"如何在 CMake 配置中同时支持 OpenCV 的 Release 和 Debug 模式链接？","目前需要在 config.cmake 中根据构建类型手动切换库名称，无法自动同时支持两种模式而不重新编译。\n- 编译 Release 版本时，设置：set(NNDEPLOY_OPENCV_LIBS \"opencv_world480\")\n- 编译 Debug 版本时，设置：set(NNDEPLOY_OPENCV_LIBS \"opencv_world480d\")\n修改配置后需要重新编译工程。路径配置示例：set(ENABLE_NNDEPLOY_OPENCV \"path\u002Fto\u002Fopencv\")","https:\u002F\u002Fgithub.com\u002Fnndeploy\u002Fnndeploy\u002Fissues\u002F171",{"id":179,"question_zh":180,"answer_zh":181,"source_url":182},35864,"在 Ascend (昇腾) 设备上运行 Detect Demo 报错，提示模型输入输出名称错误或初始化失败怎么办？","请重点检查以下几点：\n1. 确认命令行参数中的 --model_inputs 和 --model_outputs 名称是否与模型文件内部定义的张量名称完全一致（例如是否应为 'images' 和 'output0'）。\n2. 检查模型文件格式是否正确，AscendCL 通常需要 .om 模型，如果使用 ONNX 或其他格式需确认转换流程。\n3. 查看日志中具体的 Error 信息，确认是否因设备类型 (kDeviceTypeCodeAscendCL) 与推理类型 (kInferenceType) 不匹配导致。","https:\u002F\u002Fgithub.com\u002Fnndeploy\u002Fnndeploy\u002Fissues\u002F160",[184,189,194,199,204,209,214,219,224,229,234,238,243],{"id":185,"version":186,"summary_zh":187,"released_at":188},281092,"v3.0.10","1. 提升设备模块稳定性","2026-04-04T16:41:00",{"id":190,"version":191,"summary_zh":192,"released_at":193},281093,"v3.0.9","1. 完善GitHub CI","2026-04-04T12:18:16",{"id":195,"version":196,"summary_zh":197,"released_at":198},281094,"v3.0.8","修复由 JSON 反序列化引起的 bug","2025-12-04T15:29:04",{"id":200,"version":201,"summary_zh":202,"released_at":203},281095,"v3.0.7","\r\n# v3.0.7\r\n\r\n## 1. 前端优化\r\n- 显示上传、保存的目录\r\n- 模型已经下载后，不再显示下载\r\n\r\n## 2. 后端优化  \r\n- 返回给前端当前工作目录\r\n\r\n## 3. 底层架构优化\r\n- 优化CMake配置文件\r\n- 强制Windows链接库","2025-11-12T12:49:16",{"id":205,"version":206,"summary_zh":207,"released_at":208},281096,"v3.0.6","# v3.0.6\n\n## 1. 前端优化\n- 增强异常处理机制：当底层工作流发生崩溃时，前端能够自动检测并执行复位操作，确保用户界面的稳定性\n\n## 2. 后端优化  \n- 完善错误处理流程：当底层服务发生崩溃时，后端能够自动重启进程并向前端返回明确的错误状态码，提升系统的容错能力和用户体验\n\n## 3. 底层架构优化\n- 优化CMake配置文件\n- 升级OpenCV至4.10.0版本，获得更好的性能表现和新特性支持\n- 更新tokenizer-cpp组件，新增对Qwen3模型的完整支持，扩展模型兼容性","2025-11-04T11:22:33",{"id":210,"version":211,"summary_zh":212,"released_at":213},281097,"v3.0.5","# v3.0.5\n\n## 1. 前端优化\n- 子图对齐问题\n- 子图内部节点排列不规则\n\n## 2. 后端优化\n- 前后端版本统一\n\n## 1. 文档优化","2025-11-03T03:32:24",{"id":215,"version":216,"summary_zh":217,"released_at":218},281098,"v3.0.4","# v3.0.4\n\n## 1. 优化Python包描述\n\n## 2. 优化文档","2025-11-02T12:25:32",{"id":220,"version":221,"summary_zh":222,"released_at":223},281099,"v3.0.3","v3.0.2\n1. 解决Windows端LLM运行报错问题\n2. 优化Python依赖\n3. 优化模板下载","2025-11-01T18:08:12",{"id":225,"version":226,"summary_zh":227,"released_at":228},281100,"v3.0.2","\r\n# v3.0.2\r\n\r\n## 1. 前端子图嵌套功能完善\r\n\r\n## 2. 后端\r\n\r\n- 实现关联资源的回退机制\r\n- 优化Windows平台下的模型下载功能\r\n\r\n## 3. 底层\r\n\r\n- Windows平台先进行编译优化","2025-10-31T18:10:14",{"id":230,"version":231,"summary_zh":232,"released_at":233},281101,"v3.0.1","\r\n# v3.0.1\r\n\r\n## 1. 完善的三层架构\r\n\r\n| 层级       | 核心组件                                                                                     | 主要职责                               |\r\n| ---------- | -------------------------------------------------------------------------------------------- | -------------------------------------- |\r\n| 用户界面层 | 可视化编辑器（React + flowgram.ai）、命令行工具（nndeploy-run-json、nndeploy_demo_run_json） | 直观的工作流设计界面                   |\r\n| 后端服务层 | FastAPI 服务器、工作进程、任务队列、WebSocket                                                | 负责工作流管理、异步任务执行、进度跟踪 |\r\n| 计算执行层 | 图执行引擎、多推理后端、高性能算子、异构设备管理                                             | 执行图调度、节点计算、内存资源管理     |\r\n\r\n\r\n## 2. 前端\r\n\r\n- 支持多层子图嵌套\r\n\r\n## 3. 底层\r\n\r\n- 优化流水线并行\r\n- 优化线程池\r\n\r\n## 4. 大模型\r\n\r\n- 基于MNN部署Qwen3的小B模型\r\n\r\n## 5. diffusers\r\n\r\n- 基于Diffusers部署AIGC工作流\r\n\r\n\r\n## 加入我们\r\n\r\n- nndeploy是由一群志同道合的网友共同开发以及维护，我们不定时讨论技术，分享行业见解。当前nndeploy正处于发展阶段，如果您热爱开源、喜欢折腾，不论是出于学习目的，抑或是有更好的想法，欢迎加入我们。\r\n- 微信：Always031856 (可加我微信进nndeploy交流群，备注：nndeploy+姓名)","2025-10-30T12:37:25",{"id":235,"version":236,"summary_zh":74,"released_at":237},281102,"v3.0.0","2025-10-26T17:33:55",{"id":239,"version":240,"summary_zh":241,"released_at":242},281103,"v2.6.2","improve dag","2025-10-02T15:51:54",{"id":244,"version":245,"summary_zh":246,"released_at":247},281104,"v2.5.0","Visual Workflow & Python API","2025-08-28T07:11:28"]