[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-huawei-noah--bolt":3,"tool-huawei-noah--bolt":62},[4,18,28,37,45,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":24,"last_commit_at":25,"category_tags":26,"status":17},9989,"n8n","n8n-io\u002Fn8n","n8n 是一款面向技术团队的公平代码（fair-code）工作流自动化平台，旨在让用户在享受低代码快速构建便利的同时，保留编写自定义代码的灵活性。它主要解决了传统自动化工具要么过于封闭难以扩展、要么完全依赖手写代码效率低下的痛点，帮助用户轻松连接 400 多种应用与服务，实现复杂业务流程的自动化。\n\nn8n 特别适合开发者、工程师以及具备一定技术背景的业务人员使用。其核心亮点在于“按需编码”：既可以通过直观的可视化界面拖拽节点搭建流程，也能随时插入 JavaScript 或 Python 代码、调用 npm 包来处理复杂逻辑。此外，n8n 原生集成了基于 LangChain 的 AI 能力，支持用户利用自有数据和模型构建智能体工作流。在部署方面，n8n 提供极高的自由度，支持完全自托管以保障数据隐私和控制权，也提供云端服务选项。凭借活跃的社区生态和数百个现成模板，n8n 让构建强大且可控的自动化系统变得简单高效。",184740,2,"2026-04-19T23:22:26",[16,14,13,15,27],"插件",{"id":29,"name":30,"github_repo":31,"description_zh":32,"stars":33,"difficulty_score":10,"last_commit_at":34,"category_tags":35,"status":17},10095,"AutoGPT","Significant-Gravitas\u002FAutoGPT","AutoGPT 是一个旨在让每个人都能轻松使用和构建 AI 的强大平台，核心功能是帮助用户创建、部署和管理能够自动执行复杂任务的连续型 AI 智能体。它解决了传统 AI 应用中需要频繁人工干预、难以自动化长流程工作的痛点，让用户只需设定目标，AI 即可自主规划步骤、调用工具并持续运行直至完成任务。\n\n无论是开发者、研究人员，还是希望提升工作效率的普通用户，都能从 AutoGPT 中受益。开发者可利用其低代码界面快速定制专属智能体；研究人员能基于开源架构探索多智能体协作机制；而非技术背景用户也可直接选用预置的智能体模板，立即投入实际工作场景。\n\nAutoGPT 的技术亮点在于其模块化“积木式”工作流设计——用户通过连接功能块即可构建复杂逻辑，每个块负责单一动作，灵活且易于调试。同时，平台支持本地自托管与云端部署两种模式，兼顾数据隐私与使用便捷性。配合完善的文档和一键安装脚本，即使是初次接触的用户也能在几分钟内启动自己的第一个 AI 智能体。AutoGPT 正致力于降低 AI 应用门槛，让人人都能成为 AI 的创造者与受益者。",183572,"2026-04-20T04:47:55",[13,36,27,14,15],"语言模型",{"id":38,"name":39,"github_repo":40,"description_zh":41,"stars":42,"difficulty_score":10,"last_commit_at":43,"category_tags":44,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":46,"name":47,"github_repo":48,"description_zh":49,"stars":50,"difficulty_score":24,"last_commit_at":51,"category_tags":52,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",161147,"2026-04-19T23:31:47",[14,13,36],{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":59,"last_commit_at":60,"category_tags":61,"status":17},8272,"opencode","anomalyco\u002Fopencode","OpenCode 是一款开源的 AI 编程助手（Coding Agent），旨在像一位智能搭档一样融入您的开发流程。它不仅仅是一个代码补全插件，而是一个能够理解项目上下文、自主规划任务并执行复杂编码操作的智能体。无论是生成全新功能、重构现有代码，还是排查难以定位的 Bug，OpenCode 都能通过自然语言交互高效完成，显著减少开发者在重复性劳动和上下文切换上的时间消耗。\n\n这款工具专为软件开发者、工程师及技术研究人员设计，特别适合希望利用大模型能力来提升编码效率、加速原型开发或处理遗留代码维护的专业人群。其核心亮点在于完全开源的架构，这意味着用户可以审查代码逻辑、自定义行为策略，甚至私有化部署以保障数据安全，彻底打破了传统闭源 AI 助手的“黑盒”限制。\n\n在技术体验上，OpenCode 提供了灵活的终端界面（Terminal UI）和正在测试中的桌面应用程序，支持 macOS、Windows 及 Linux 全平台。它兼容多种包管理工具，安装便捷，并能无缝集成到现有的开发环境中。无论您是追求极致控制权的资深极客，还是渴望提升产出的独立开发者，OpenCode 都提供了一个透明、可信",144296,1,"2026-04-16T14:50:03",[13,27],{"id":63,"github_repo":64,"name":65,"description_en":66,"description_zh":67,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":74,"owner_avatar_url":75,"owner_bio":76,"owner_company":77,"owner_location":77,"owner_email":77,"owner_twitter":77,"owner_website":78,"owner_url":79,"languages":80,"stars":119,"forks":120,"last_commit_at":121,"license":122,"difficulty_score":123,"env_os":124,"env_gpu":125,"env_ram":126,"env_deps":127,"category_tags":135,"github_topics":136,"view_count":24,"oss_zip_url":77,"oss_zip_packed_at":77,"status":17,"created_at":155,"updated_at":156,"faqs":157,"releases":188},10119,"huawei-noah\u002Fbolt","bolt","Bolt is a deep learning library with high performance and heterogeneous flexibility.","Bolt 是一款由华为诺亚方舟实验室开源的高性能深度学习推理库，致力于实现神经网络在各种硬件平台上的自动化部署与极致加速。它主要解决了模型在不同设备（如手机、服务器、嵌入式芯片）上运行效率低、兼容性差以及资源占用过高的问题，帮助开发者轻松将训练好的模型转化为高效的可执行代码。\n\nBolt 非常适合从事移动端或边缘计算开发的工程师、算法研究人员以及对模型落地性能有严苛要求的技术团队。其核心优势在于卓越的运行效率，实测速度比现有主流开源加速库快 15% 以上。同时，Bolt 具备极强的灵活性：支持 Caffe、ONNX、TensorFlow 等多种框架模型的转换；涵盖从高精度 FP32 到低比特 1-BIT 的多种推理精度；并能广泛适配 ARM、X86 架构的 CPU 以及各类 GPU。\n\n值得一提的是，Bolt 是业内较早同时支持自然语言处理（NLP）和计算机视觉（CV）应用的轻量级库，并拥有自动算法调优和丰富的图优化技术。针对资源受限的物联网设备（如 MCU），Bolt 还能极致压缩内存占用，确保在微小算力设备上也能流畅运行，是连接算法研究与实际落地的得力助手。","# Introduction\n---\n[![License: MIT](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fhuawei-noah_bolt_readme_b9e469fbfb10.png)](https:\u002F\u002Fopensource.org\u002Flicenses\u002FMIT)\n\n[Bolt](https:\u002F\u002Fhuawei-noah.github.io\u002Fbolt\u002F) is a light-weight library for deep learning.\nBolt, as a universal deployment tool for all kinds of neural networks, aims to automate the deployment pipeline and achieve extreme acceleration.\nBolt has been widely deployed and used in many departments of HUAWEI company, such as 2012 Laboratory, CBG and HUAWEI Product Lines.\nIf you have questions or suggestions, you can submit issue. **QQ群: 833345709**\n\n# Why Bolt is what you need?\n---\n- **High Performance:** **15%+** faster than existing open source acceleration libraries.\n- **Rich Model Conversion:** support Caffe, ONNX, TFLite, Tensorflow.\n- **Various Inference Precision:** support FP32, FP16, INT8, 1-BIT.\n- **Multiple platforms:** ARM CPU(v7, v8, v8.2+, v9), X86 CPU(AVX2, AVX512), GPU(Mali, Qualcomm, Intel, AMD)\n- **Bolt is the first to support NLP and also supports common CV applications.**\n- **Minimize ROM\u002FRAM**\n- Rich Graph Optimization\n- Efficient Thread Affinity Setting\n- [Auto Algorithm Tuning](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F336218879)\n- [Time-Series Data Acceleration](docs\u002FUSER_HANDBOOK.md#time-series-data-acceleration)\n\n[See more excellent features and details here](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F317111024)\n\n# Building Status\n---\nThere are some common used platform for inference. More targets can be seen from [scripts\u002Ftarget.sh](scripts\u002Ftarget.sh). Please make a suitable choice depending on your environment. \nIf you want to build on-device training module, you can add **--train** option.\nIf you want to use multi-threads parallel, you can add **--openmp** option.\nIf you want to build for cortex-M or cortex-A7 with restricted ROM\u002FRAM(Sensor, MCU), you can see [docs\u002FLITE.md](docs\u002FLITE.md).\n\n*Bolt defaultly link static library, This may cause some problem on some platforms. You can use --shared option to link shared library.*\n\n| target platform        | precision          | build command                                        | Linux | Windows | MacOS |\n| ---------------------- | ------------------ | ---------------------------------------------------- | ----- | ------- | ----- |\n| Android(armv7)         | fp32,int8          | .\u002Finstall.sh --target=android-armv7                  | [![Build Status](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Flinux-android-armv7.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Alinux-android-armv7) | [![Build Status](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Fwindows-android-armv7.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Awindows-android-armv7) | [![Build Status](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Fmacos-android-armv7.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Amacos-android-armv7) |\n| Android(armv8)         | fp32,int8          | .\u002Finstall.sh --target=android-aarch64 --fp16=off     | [![Build Status](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Flinux-android-armv8.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Alinux-android-armv8) | [![Build Status](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Fwindows-android-armv7.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Awindows-android-armv8) | [![Build Status](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Fmacos-android-armv8.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Amacos-android-armv8) |\n| Android(armv8.2+)      | fp32,fp16,int8,bnn | .\u002Finstall.sh --target=android-aarch64                | [![Build Status](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Flinux-android-armv8.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Alinux-android-armv8) | [![Build Status](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Fwindows-android-armv7.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Awindows-android-armv8) | [![Build Status](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Fmacos-android-armv8.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Amacos-android-armv8) |\n| Android(armv9)         | fp32,fp16,bf16,int8,bnn | .\u002Finstall.sh --target=android-aarch64_v9        | [![Build Status](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Flinux-android-armv8.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Alinux-android-armv8) | [![Build Status](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Fwindows-android-armv7.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Awindows-android-armv8) | [![Build Status](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Fmacos-android-armv8.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Amacos-android-armv8) |\n| Android(gpu)           | fp16               | .\u002Finstall.sh --target=android-aarch64 --gpu          | [![Build Status](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Flinux-android-armv8.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Alinux-android-armv8) | [![Build Status](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Fwindows-android-armv7.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Awindows-android-armv8) | [![Build Status](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Fmacos-android-armv8.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Amacos-android-armv8) |\n| Android(x86_64)        | fp32,int8          | .\u002Finstall.sh --target=android-x86_64                 | [![Build Status](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Flinux-android-x86_64.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Alinux-android-x86_64) | [![Build Status](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Fwindows-android-x86_64.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Awindows-android-x86_64) | [![Build Status](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Fmacos-android-x86_64.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Amacos-android-x86_64) |\n| iOS(armv7)             | fp32,int8          | .\u002Finstall.sh --target=ios-armv7                      | \u002F | \u002F | [![Build Status](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Fmacos-ios-armv7.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Amacos-ios-armv7) |\n| iOS(armv8)             | fp32,int8          | .\u002Finstall.sh --target=ios-aarch64 --fp16=off         | \u002F | \u002F | [![Build Status](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Fmacos-ios-armv8.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Amacos-ios-armv8) |\n| iOS(armv8.2+)          | fp32,fp16,int8,bnn | .\u002Finstall.sh --target=ios-aarch64                    | \u002F | \u002F | [![Build Status](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Fmacos-ios-armv8.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Amacos-ios-armv8) |\n| Linux(armv7)           | fp32,int8          | .\u002Finstall.sh --target=linux-armv7_blank              | [![Build Status](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Flinux-x86.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Alinux-x86) | \u002F | \u002F |\n| Linux(armv8)           | fp32,int8          | .\u002Finstall.sh --target=linux-aarch64_blank --fp16=off | [![Build Status](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Flinux-x86.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Alinux-x86) | \u002F | \u002F |\n| Linux(armv8.2+)        | fp32,fp16,int8,bnn | .\u002Finstall.sh --target=linux-aarch64_blank            | [![Build Status](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Flinux-x86.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Alinux-x86) | \u002F | \u002F |\n| Linux(x86_64)          | fp32,int8          | .\u002Finstall.sh --target=linux-x86_64                   | [![Build Status](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Flinux-x86.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Alinux-x86) | \u002F | \u002F |\n| Linux(x86_64_avx2)     | fp32               | .\u002Finstall.sh --target=linux-x86_64_avx2              | [![Build Status](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Flinux-x86-avx2.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Alinux-x86-avx2) | \u002F | \u002F |\n| Linux(x86_64_avx512)   | fp32,int8          | .\u002Finstall.sh --target=linux-x86_64_avx512            | [![Build Status](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Flinux-x86-avx2.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Alinux-x86-avx2) | \u002F | \u002F |\n| Windows(x86_64)        | fp32,int8          | .\u002Finstall.sh --target=windows-x86_64                 | \u002F | [![Build Status](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Fwindows-x86.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Awindows-x86) | \u002F |\n| Windows(x86_64_avx2)   | fp32               | .\u002Finstall.sh --target=windows-x86_64_avx2            | \u002F | [![Build Status](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Fwindows-x86-avx2.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Awindows-x86-avx2) | \u002F |\n| Windows(gpu)           | fp16               | .\u002Finstall.sh --target=windows-x86_64_avx2 --gpu --fp16=on | \u002F | [![Build Status](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Fwindows-x86-avx2.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Awindows-x86-avx2) | \u002F |\n| Windows(x86_64_avx512) | fp32,int8          | .\u002Finstall.sh --target=windows-x86_64_avx512          | \u002F | [![Build Status](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Fwindows-x86-avx2.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Awindows-x86-avx2) | \u002F |\n| Windows(armv8.2+)      | fp32,fp16,int8,bnn | .\u002Finstall.sh --target=windows-aarch64                | \u002F | \u002F | [![Build Status](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Fmacos-x86.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Amacos-x86) |\n| MacOS(x86_64)          | fp32,int8          | .\u002Finstall.sh --target=macos-x86_64                   | \u002F | \u002F | [![Build Status](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Fmacos-x86.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Amacos-x86) |\n| MacOS(x86_64_avx2)     | fp32               | .\u002Finstall.sh --target=macos-x86_64_avx2              | \u002F | \u002F | [![Build Status](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Fmacos-x86-avx2.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Amacos-x86-avx2) |\n| MacOS(x86_64_avx512)   | fp32,int8          | .\u002Finstall.sh --target=macos-x86_64_avx512            | \u002F | \u002F | [![Build Status](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Fmacos-x86-avx2.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Amacos-x86-avx2) |\n| MacOS(armv8.2+)        | fp32,fp16,int8,bnn | .\u002Finstall.sh --target=macos-aarch64                  | \u002F | \u002F | [![Build Status](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Fmacos-x86.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Amacos-x86) |\n\n# Quick Start\n---\n\u003Cdiv align=center>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fhuawei-noah_bolt_readme_cbf4342cc295.jpg\" width = 100% height = 100%  style=\"border: 1px solid rgba(151,151,151,0.50)\" \u002F>\u003C\u002Fdiv>\nTwo steps to get started with bolt.\n\n1. Conversion: use **[X2bolt](model_tools\u002Ftools\u002FX2bolt\u002FX2bolt.cpp)** to convert your model from caffe, onnx, tflite or tensorflow to .bolt file;\n\n2. Inference: run **[benchmark](inference\u002Fexamples\u002Fbenchmark\u002Fbenchmark.cpp)** with .bolt and data to get the inference result.\n\n   For more details about the usage of [**X2bolt**](model_tools\u002Ftools\u002FX2bolt\u002FX2bolt.cpp) and [**benchmark**](inference\u002Fexamples\u002Fbenchmark\u002Fbenchmark.cpp) tools,  see [docs\u002FUSER_HANDBOOK.md](docs\u002FUSER_HANDBOOK.md). \n\n# DL Applications in Bolt\n\n  Here we show some interesting and useful applications in bolt.\n\n| \u003Ccenter>Image Classification\u003C\u002Fbr>[android](kit\u002FAndroid\u002FSimpleImageClassification) [ios](kit\u002FiOS\u002FSimpleImageClassification)\u003C\u002Fcenter> | \u003Ccenter>Face Detection\u003C\u002Fbr>[ios](kit\u002FiOS\u002FFaceDetection)  [exe](inference\u002Fexamples\u002Fultra_face)\u003C\u002Fcenter> | \u003Ccenter>Pose Detection\u003C\u002Fbr>[android](kit\u002FAndroid\u002FPoseDetect)\u003C\u002Fcenter> |\n| :------: | :------: | :------: |\n| \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fhuawei-noah_bolt_readme_f82fe5c5b294.gif\" width = 50% height = 20% \u002F>       | \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fhuawei-noah_bolt_readme_c18f3965cc62.gif\" width = 70% height = 30% \u002F> | \u003Cimg src=\"docs\u002Fimages\u002FPoseDetect.gif\" width = 50% height = 22% \u002F> |\n\n| \u003Ccenter>Semantics Analysis\u003C\u002Fbr>[android](kit\u002FAndroid\u002FSemantics)\u003C\u002Fcenter> | \u003Ccenter>Reading Comprehension\u003C\u002Fbr>[android](kit\u002FAndroid\u002FReadingComprehension)\u003C\u002Fcenter> | \u003Ccenter>Chinese Speech Recognition\u003C\u002Fbr>[android](kit\u002FAndroid\u002FChineseSpeechRecognition)    [ios](kit\u002FiOS\u002FChineseSpeechRecognition)\u003C\u002Fcenter> |\n| :------: | :------: | :------: |\n| \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fhuawei-noah_bolt_readme_46e2517d7efd.gif\" width = 45% height = 20% \u002F> | \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fhuawei-noah_bolt_readme_7a10908ae399.gif\" width = 45% height = 20% \u002F> | \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fhuawei-noah_bolt_readme_edc9b41af740.gif\" width = 50% height = 20% \u002F> |\n\n# Verified Networks\n---\n  Bolt has shown its high performance in the inference of common CV, NLP and Recommendation neural networks. Some of the representative networks that we have verified are listed below. You can find detailed benchmark information in [docs\u002FBENCHMARK.md](docs\u002FBENCHMARK.md).\n\n  \u003Ctable border=\"1\"  bordercolor=\"#00CCCC\"  width=\"300\">\n    \u003Ctr>\n      \u003Ctd>\n        Application\n      \u003C\u002Ftd>\n      \u003Ctd>\n        Models\n      \u003C\u002Ftd>\n    \u003C\u002Ftr>\n    \u003Ctr>\n      \u003Ctd>\n        CV\n      \u003C\u002Ftd>\n      \u003Ctd>\n        Resnet50, Shufflenet, Squeezenet, Densenet, Efficientnet, Mobilenet_v1, Mobilenet_v2, Mobilenet_v3,\n        \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fliuzechun\u002FBi-Real-net\">BiRealNet\u003C\u002Fa>,\n        \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fliuzechun\u002FReActNet\">ReActNet\u003C\u002Fa>,\n        \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fghostnet\">Ghostnet\u003C\u002Fa>,\n        \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fmilesial\u002FPytorch-UNet\">unet\u003C\u002Fa>,\n        LCNet, Pointnet,\n        \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fthangtran480\u002Fhair-segmentation\">hair-segmentation\u003C\u002Fa>,\n        \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fonnx\u002Fmodels\u002Ftree\u002Fmaster\u002Fvision\u002Fobject_detection_segmentation\u002Fduc\">duc\u003C\u002Fa>,\n        \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fonnx\u002Fmodels\u002Ftree\u002Fmaster\u002Fvision\u002Fobject_detection_segmentation\u002Ffcn\">fcn\u003C\u002Fa>,\n        \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fonnx\u002Fmodels\u002Ftree\u002Fmaster\u002Fvision\u002Fobject_detection_segmentation\u002Fretinanet\">retinanet\u003C\u002Fa>,\n        \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fonnx\u002Fmodels\u002Ftree\u002Fmaster\u002Fvision\u002Fobject_detection_segmentation\u002Fssd\">SSD\u003C\u002Fa>,\n        \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fonnx\u002Fmodels\u002Ftree\u002Fmaster\u002Fvision\u002Fobject_detection_segmentation\u002Ffaster-rcnn\">Faster-RCNN\u003C\u002Fa>,\n        \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fonnx\u002Fmodels\u002Ftree\u002Fmaster\u002Fvision\u002Fobject_detection_segmentation\u002Ffaster-rcnn\">Mask-RCNN\u003C\u002Fa>,\n        \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fonnx\u002Fmodels\u002Ftree\u002Fmaster\u002Fvision\u002Fobject_detection_segmentation\u002Fyolov2-coco\">Yolov2\u003C\u002Fa>,\n        \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fonnx\u002Fmodels\u002Ftree\u002Fmaster\u002Fvision\u002Fobject_detection_segmentation\u002Ftiny-yolov3\">Yolov3\u003C\u002Fa>,\n        \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fonnx\u002Fmodels\u002Ftree\u002Fmaster\u002Fvision\u002Fobject_detection_segmentation\u002Fyolov4\">Yolov4\u003C\u002Fa>,\n        \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fultralytics\u002Fyolov5\">Yolov5\u003C\u002Fa>,\n        ViT, TNT, RepVGG, VitAE, CMT, EfficientFormer ...\n      \u003C\u002Ftd>\n    \u003C\u002Ftr>\n    \u003Ctr>\n      \u003Ctd>\n        NLP\n      \u003C\u002Ftd>\n      \u003Ctd> Bert, Albert, Tinybert, Neural Machine Translation, Text To Speech(Tactron,Tactron2,FastSpeech+hifigan,melgan), Automatic Speech Recognition, DFSMN, Conformer,\n        \u003Ca href=\"docs\u002FUSER_HANDBOOK.md#voice-wake-up\">Tdnn\u003C\u002Fa>,\n        \u003Ca href=\"https:\u002F\u002Ftfhub.dev\u002Fgoogle\u002Flite-model\u002Fnonsemantic-speech-benchmark\u002Ffrill-nofrontend\u002F1\">FRILL\u003C\u002Fa>,\n        \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fonnx\u002Fmodels\u002Ftree\u002Fmaster\u002Ftext\u002Fmachine_comprehension\u002Ft5\">T5\u003C\u002Fa>,\n        \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fonnx\u002Fmodels\u002Ftree\u002Fmaster\u002Ftext\u002Fmachine_comprehension\u002Fgpt-2\">GPT-2\u003C\u002Fa>,\n        \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fonnx\u002Fmodels\u002Ftree\u002Fmaster\u002Ftext\u002Fmachine_comprehension\u002Froberta\">Roberta\u003C\u002Fa>, Wenet ...\n      \u003C\u002Ftd>\n    \u003C\u002Ftr>\n    \u003Ctr>\n      \u003Ctd>\n        Recommendation\n      \u003C\u002Ftd>\n      \u003Ctd>\n        NFM, AFM, ONN, wide&deep, DeepFM, MMOE\n      \u003C\u002Ftd>\n    \u003C\u002Ftr>\n    \u003Ctr>\n      \u003Ctd>\n        More DL Tasks\n      \u003C\u002Ftd>\n      \u003Ctd>\n        ...\n      \u003C\u002Ftd>\n    \u003C\u002Ftr>\n  \u003C\u002Ftable>\n\n  More models than these mentioned above are supported, users are encouraged to further explore.\n\n# On-Device Training\n---\nOn-Device Training has come, it's a beta vesion which supports [Lenet](.\u002Ftraining\u002Fdemos\u002Flenet_demo\u002F), [Mobilenet_v1](.\u002Ftraining\u002Fdemos\u002Fmobilenet_v1_demo) and [Resnet18](.\u002Ftraining\u002Fdemos\u002Fresnet18_demo) for training on the embedded devices and servers. Want more details of on-device training in bolt? Get with the official training [tutorial](.\u002Ftraining\u002FTUTORIAL.md).\n\n# Documentations\n---\nEverything you want to know about bolt is recorded in the detailed documentations stored in [docs](docs).\n\n- [How to install bolt with different compilers?](docs\u002FINSTALL.md).\n- [How to use bolt to inference your ML models?](docs\u002FUSER_HANDBOOK.md)\n\t- [How to deploy Pytorch model?](docs\u002FDEPLOYMENT_GUIDE_PYTORCH_CN.md)\n\t- [How to deploy Tensorflow model?](docs\u002FDEPLOYMENT_GUIDE_TENSORFLOW_CN.md)\n\t- [How to deploy Onnx model?](docs\u002FDEPLOYMENT_GUIDE_ONNX_CN.md)\n\t- [How to deploy Tflite model?](docs\u002FDEPLOYMENT_GUIDE_TFLITE_CN.md)\n\t- [How to deploy Caffe model?](docs\u002FDEPLOYMENT_GUIDE_CAFFE_CN.md)\n- [How to develop bolt to customize more models?](docs\u002FDEVELOPER.md)\n- [Operators documentation](docs\u002FOPERATORS.md)\n- [Benchmark results on some universal models.](docs\u002FBENCHMARK.md)\n- [How to visualise\u002Fprotect bolt model?](docs\u002FUSER_HANDBOOK.md#model-visualization)\n- [How to build demo\u002Fexample with kit?](docs\u002FKIT.md)\n- [Frequently Asked Questions(FAQ)](docs\u002FFAQ.md)\n\n# Articles\n---\n- [深度学习加速库Bolt领跑端侧AI](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F317111024)\n- [为什么 Bolt 这么快：矩阵向量乘的实现](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F97928435)\n- [深入硬件特性加速TinyBert，首次实现手机上Bert 6ms推理](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F158620259)\n- [Bolt GPU性能优化，让上帝帮忙掷骰子](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F336218879)\n- [Bolt助力HMS机器翻译，自然语言处理又下一城](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F337887620)\n- [ARM CPU 1-bit推理，走向极致的道路](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F158161592)\n- [基于深度学习加速库Bolt的声音克隆技术(Voice Cloning)](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F498919929)\n\n# 教程\n---\n- 图像分类: [Android Demo](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F359264809), [iOS Demo](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F359259766)\n- 图像增强: [Android Deme](.\u002Fdocs\u002FDIT.md#camera-enlarge), [iOS Demo](.\u002Fdocs\u002FDIT.md#camera-enlarge)\n- 情感分类: [Android Demo](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F414971037)\n- 中文语音识别: [Android Demo](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F414978782), [iOS Demo](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F414981121)\n- 人脸检测: [Android Demo](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F414975102), [iOS Demo](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F414971375)\n\n# Acknowledgement\n---\nBolt refers to the following projects: [caffe](https:\u002F\u002Fgithub.com\u002FBVLC\u002Fcaffe), [onnx](https:\u002F\u002Fgithub.com\u002Fonnx\u002Fonnx), [tensorflow](https:\u002F\u002Fgithub.com\u002Ftensorflow\u002Ftensorflow), [ncnn](https:\u002F\u002Fgithub.com\u002FTencent\u002Fncnn), [mnn](https:\u002F\u002Fgithub.com\u002Falibaba\u002FMNN), [dabnn](https:\u002F\u002Fgithub.com\u002FJDAI-CV\u002Fdabnn).\n\n# License\n---\nThe MIT License(MIT)\n\n","# 简介\n---\n[![许可证：MIT](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fhuawei-noah_bolt_readme_b9e469fbfb10.png)](https:\u002F\u002Fopensource.org\u002Flicenses\u002FMIT)\n\n[Bolt](https:\u002F\u002Fhuawei-noah.github.io\u002Fbolt\u002F) 是一个轻量级的深度学习库。\n作为适用于各类神经网络的通用部署工具，Bolt 旨在自动化部署流程并实现极致加速。\nBolt 已在华为公司多个部门广泛部署和使用，例如 2012 实验室、消费者业务集团（CBG）以及各产品线。\n\n如果您有任何问题或建议，欢迎提交 Issue。**QQ 群：833345709**\n\n# 为什么 Bolt 是您需要的？\n---\n- **高性能：** 比现有开源加速库快 **15%+**。\n- **丰富的模型转换支持：** 支持 Caffe、ONNX、TFLite 和 TensorFlow。\n- **多种推理精度：** 支持 FP32、FP16、INT8 和 1-BIT。\n- **多平台支持：** ARM CPU（v7、v8、v8.2+、v9）、x86 CPU（AVX2、AVX512）、GPU（Mali、Qualcomm、Intel、AMD）。\n- **Bolt 首次支持 NLP，同时也支持常见的计算机视觉应用。**\n- **最小化 ROM\u002FRAM 占用。**\n- 丰富的图优化。\n- 高效的线程亲和性设置。\n- [自动算法调优](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F336218879)。\n- [时间序列数据加速](docs\u002FUSER_HANDBOOK.md#time-series-data-acceleration)。\n\n[更多优秀特性及详细信息请见这里](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F317111024)\n\n# 构建状态\n---\n目前有一些常用的推理平台。更多目标平台可在 [scripts\u002Ftarget.sh](scripts\u002Ftarget.sh) 中查看。请根据您的环境选择合适的配置。\n\n如果您希望构建设备端训练模块，可以添加 **--train** 选项。\n如果需要使用多线程并行，可以添加 **--openmp** 选项。\n若要为 ROM\u002FRAM 资源受限的 Cortex-M 或 Cortex-A7（如传感器、MCU）构建，则可参考 [docs\u002FLITE.md](docs\u002FLITE.md)。\n\n*Bolt 默认链接静态库，这在某些平台上可能会导致问题。您可以使用 --shared 选项来链接共享库。*\n\n| 目标平台        | 精度          | 构建命令                                        | Linux | Windows | MacOS |\n| ---------------------- | ------------------ | ---------------------------------------------------- | ----- | ------- | ----- |\n| Android(armv7)         | fp32,int8          | .\u002Finstall.sh --target=android-armv7                  | [![构建状态](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Flinux-android-armv7.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Alinux-android-armv7) | [![构建状态](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Fwindows-android-armv7.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Awindows-android-armv7) | [![构建状态](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Fmacos-android-armv7.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Amacos-android-armv7) |\n| Android(armv8)         | fp32,int8          | .\u002Finstall.sh --target=android-aarch64 --fp16=off     | [![构建状态](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Flinux-android-armv8.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Alinux-android-armv8) | [![构建状态](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Fwindows-android-armv7.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Awindows-android-armv8) | [![构建状态](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Fmacos-android-armv8.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Amacos-android-armv8) |\n| Android(armv8.2+)      | fp32,fp16,int8,bnn | .\u002Finstall.sh --target=android-aarch64                | [![构建状态](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Flinux-android-armv8.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Alinux-android-armv8) | [![构建状态](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Fwindows-android-armv7.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Awindows-android-armv8) | [![构建状态](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Fmacos-android-armv8.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Amacos-android-armv8) |\n| Android(armv9)         | fp32,fp16,bf16,int8,bnn | .\u002Finstall.sh --target=android-aarch64_v9        | [![构建状态](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Flinux-android-armv8.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Alinux-android-armv8) | [![构建状态](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Fwindows-android-armv7.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Awindows-android-armv8) | [![构建状态](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Fmacos-android-armv8.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Amacos-android-armv8) |\n| Android(gpu)           | fp16               | .\u002Finstall.sh --target=android-aarch64 --gpu          | [![构建状态](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Flinux-android-armv8.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Alinux-android-armv8) | [![构建状态](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Fwindows-android-armv7.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Awindows-android-armv8) | [![构建状态](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Fmacos-android-armv8.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Amacos-android-armv8) |\n| Android(x86_64)        | fp32,int8          | .\u002Finstall.sh --target=android-x86_64                 | [![构建状态](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Flinux-android-x86_64.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Alinux-android-x86_64) | [![构建状态](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Fwindows-android-x86_64.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Awindows-android-x86_64) | [![构建状态](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Fmacos-android-x86_64.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Amacos-android-x86_64) |\n| iOS(armv7)             | fp32,int8          | .\u002Finstall.sh --target=ios-armv7                      | \u002F | \u002F | [![构建状态](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Fmacos-ios-armv7.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Amacos-ios-armv7) |\n| iOS(armv8)             | fp32,int8          | .\u002Finstall.sh --target=ios-aarch64 --fp16=off         | \u002F | \u002F | [![构建状态](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Fmacos-ios-armv8.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Amacos-ios-armv8) |\n| iOS(armv8.2+)          | fp32,fp16,int8,bnn | .\u002Finstall.sh --target=ios-aarch64                    | \u002F | \u002F | [![构建状态](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Fmacos-ios-armv8.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Amacos-ios-armv8) |\n| Linux(armv7)           | fp32,int8          | .\u002Finstall.sh --target=linux-armv7_blank              | [![构建状态](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002Fhuawei-noah\u002Fbolt\u002Flinux-x86.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Alinux-x86) | \u002F | \u002F |\n| Linux(armv8)           | fp32,int8          | .\u002Finstall.sh --target=linux-aarch64_blank --fp16=off | [![构建状态](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus huawei-noah\u002Fbolt\u002Flinux-x86.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Alinux-x86) | \u002F | \u002F |\n| Linux(armv8.2+)        | fp32,fp16,int8,bnn | .\u002Finstall.sh --target=linux-aarch64_blank            | [![构建状态](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus huawei-noah\u002Fbolt\u002Flinux-x86.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Alinux-x86) | \u002F | \u002F |\n| Linux(x86_64)          | fp32,int8          | .\u002Finstall.sh --target=linux-x86_64                   | [![构建状态](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus huawei-noah\u002Fbolt\u002Flinux-x86.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Alinux-x86) | \u002F | \u002F |\n| Linux(x86_64_avx2)     | fp32               | .\u002Finstall.sh --target=linux-x86_64_avx2              | [![构建状态](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus huawei-noah\u002Fbolt\u002Flinux-x86-avx2.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Alinux-x86-avx2) | \u002F | \u002F |\n| Linux(x86_64_avx512)   | fp32,int8          | .\u002Finstall.sh --target=linux-x86_64_avx512            | [![构建状态](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus huawei-noah\u002Fbolt\u002Flinux-x86-avx2.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Alinux-x86-avx2) | \u002F | \u002F |\n| Windows(x86_64)        | fp32,int8          | .\u002Finstall.sh --target=windows-x86_64                 | \u002F | [![构建状态](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus huawei-noah\u002Fbolt\u002Fwindows-x86.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Awindows-x86) | \u002F |\n| Windows(x86_64_avx2)   | fp32               | .\u002Finstall.sh --target=windows-x86_64_avx2            | \u002F | [![构建状态](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus huawei-noah\u002Fbolt\u002Fwindows-x86-avx2.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Awindows-x86-avx2) | \u002F |\n| Windows(gpu)           | fp16               | .\u002Finstall.sh --target=windows-x86_64_avx2 --gpu --fp16=on | \u002F | [![构建状态](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus huawei-noah\u002Fbolt\u002Fwindows-x86-avx2.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Awindows-x86-avx2) | \u002F |\n| Windows(x86_64_avx512) | fp32,int8          | .\u002Finstall.sh --target=windows-x86_64_avx512          | \u002F | [![构建状态](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus huawei-noah\u002Fbolt\u002Fwindows-x86-avx2.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Awindows-x86-avx2) | \u002F |\n| Windows(armv8.2+)      | fp32,fp16,int8,bnn | .\u002Finstall.sh --target=windows-aarch64                | \u002F | \u002F | [![构建状态](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus huawei-noah\u002Fbolt\u002Fmacos-x86.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Amacos-x86) |\n| MacOS(x86_64)          | fp32,int8          | .\u002Finstall.sh --target=macos-x86_64                   | \u002F | \u002F | [![构建状态](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus huawei-noah\u002Fbolt\u002Fmacos-x86.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Amacos-x86) |\n| MacOS(x86_64_avx2)     | fp32               | .\u002Finstall.sh --target=macos-x86_64_avx2              | \u002F | \u002F | [![构建状态](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus huawei-noah\u002Fbolt\u002Fmacos-x86-avx2.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Amacos-x86-avx2) |\n| MacOS(x86_64_avx512)   | fp32,int8          | .\u002Finstall.sh --target=macos-x86_64_avx512            | \u002F | \u002F | [![构建状态](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus huawei-noah\u002Fbolt\u002Fmacos-x86-avx2.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Amacos-x86-avx2) |\n| MacOS(armv8.2+)        | fp32,fp16,int8,bnn | .\u002Finstall.sh --target=macos-aarch64                  | \u002F | \u002F | [![构建状态](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus huawei-noah\u002Fbolt\u002Fmacos-x86.yml?branch=master)](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Factions?query=workflow%3Amacos-x86) |\n\n# 快速入门\n---\n\u003Cdiv align=center>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fhuawei-noah_bolt_readme_cbf4342cc295.jpg\" width = 100% height = 100%  style=\"border: 1px solid rgba(151,151,151,0.50)\" \u002F>\u003C\u002Fdiv>\n使用 bolt 进行开发的两个步骤。\n\n1. 转换：使用 **[X2bolt](model_tools\u002Ftools\u002FX2bolt\u002FX2bolt.cpp)** 将您的模型从 Caffe、ONNX、TFLite 或 TensorFlow 转换为 .bolt 文件；\n\n2. 推理：运行 **[benchmark](inference\u002Fexamples\u002Fbenchmark\u002Fbenchmark.cpp)**，传入 .bolt 文件和数据以获取推理结果。\n\n   有关 [**X2bolt**](model_tools\u002Ftools\u002FX2bolt\u002FX2bolt.cpp) 和 [**benchmark**](inference\u002Fexamples\u002Fbenchmark\u002Fbenchmark.cpp) 工具的更多使用详情，请参阅 [docs\u002FUSER_HANDBOOK.md](docs\u002FUSER_HANDBOOK.md)。\n\n# Bolt 中的深度学习应用\n\n以下展示了一些有趣且实用的 bolt 应用。\n\n| \u003Ccenter>图像分类\u003C\u002Fbr>[安卓](kit\u002FAndroid\u002FSimpleImageClassification) [iOS](kit\u002FiOS\u002FSimpleImageClassification)\u003C\u002Fcenter> | \u003Ccenter>人脸检测\u003C\u002Fbr>[iOS](kit\u002FiOS\u002FFaceDetection)  [可执行文件](inference\u002Fexamples\u002Fultra_face)\u003C\u002Fcenter> | \u003Ccenter>姿态检测\u003C\u002Fbr>[安卓](kit\u002FAndroid\u002FPoseDetect)\u003C\u002Fcenter> |\n| :------: | :------: | :------: |\n| \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fhuawei-noah_bolt_readme_f82fe5c5b294.gif\" width = 50% height = 20% \u002F>       | \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fhuawei-noah_bolt_readme_c18f3965cc62.gif\" width = 70% height = 30% \u002F> | \u003Cimg src=\"docs\u002Fimages\u002FPoseDetect.gif\" width = 50% height = 22% \u002F> |\n\n| \u003Ccenter>语义分析\u003C\u002Fbr>[安卓](kit\u002FAndroid\u002FSemantics)\u003C\u002Fcenter> | \u003Ccenter>阅读理解\u003C\u002Fbr>[安卓](kit\u002FAndroid\u002FReadingComprehension)\u003C\u002Fcenter> | \u003Ccenter>中文语音识别\u003C\u002Fbr>[安卓](kit\u002FAndroid\u002FChineseSpeechRecognition)    [iOS](kit\u002FiOS\u002FChineseSpeechRecognition)\u003C\u002Fcenter> |\n| :------: | :------: | :------: |\n| \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fhuawei-noah_bolt_readme_46e2517d7efd.gif\" width = 45% height = 20% \u002F> | \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fhuawei-noah_bolt_readme_7a10908ae399.gif\" width = 45% height = 20% \u002F> | \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fhuawei-noah_bolt_readme_edc9b41af740.gif\" width = 50% height = 20% \u002F> |\n\n# 经验证的网络\n---\nBolt 在常见 CV、NLP 和推荐系统的神经网络推理中展现了其高性能。我们已验证的一些代表性网络如下所示。您可以在 [docs\u002FBENCHMARK.md](docs\u002FBENCHMARK.md) 中找到详细的基准测试信息。\n\n  \u003Ctable border=\"1\"  bordercolor=\"#00CCCC\"  width=\"300\">\n    \u003Ctr>\n      \u003Ctd>\n        应用领域\n      \u003C\u002Ftd>\n      \u003Ctd>\n        模型\n      \u003C\u002Ftd>\n    \u003C\u002Ftr>\n    \u003Ctr>\n      \u003Ctd>\n        CV\n      \u003C\u002Ftd>\n      \u003Ctd>\n        Resnet50、Shufflenet、Squeezenet、Densenet、Efficientnet、Mobilenet_v1、Mobilenet_v2、Mobilenet_v3，\n        \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fliuzechun\u002FBi-Real-net\">BiRealNet\u003C\u002Fa>,\n        \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fliuzechun\u002FReActNet\">ReActNet\u003C\u002Fa>,\n        \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fghostnet\">Ghostnet\u003C\u002Fa>,\n        \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fmilesial\u002FPytorch-UNet\">unet\u003C\u002Fa>,\n        LCNet、Pointnet，\n        \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fthangtran480\u002Fhair-segmentation\">hair-segmentation\u003C\u002Fa>,\n        \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fonnx\u002Fmodels\u002Ftree\u002Fmaster\u002Fvision\u002Fobject_detection_segmentation\u002Fduc\">duc\u003C\u002Fa>,\n        \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fonnx\u002Fmodels\u002Ftree\u002Fmaster\u002Fvision\u002Fobject_detection_segmentation\u002Ffcn\">fcn\u003C\u002Fa>,\n        \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fonnx\u002Fmodels\u002Ftree\u002Fmaster\u002Fvision\u002Fobject_detection_segmentation\u002Fretinanet\">retinanet\u003C\u002Fa>,\n        \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fonnx\u002Fmodels\u002Ftree\u002Fmaster\u002Fvision\u002Fobject_detection_segmentation\u002Fssd\">SSD\u003C\u002Fa>,\n        \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fonnx\u002Fmodels\u002Ftree\u002Fmaster\u002Fvision\u002Fobject_detection_segmentation\u002Ffaster-rcnn\">Faster-RCNN\u003C\u002Fa>,\n        \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fonnx\u002Fmodels\u002Ftree\u002Fmaster\u002Fvision\u002Fobject_detection_segmentation\u002Ffaster-rcnn\">Mask-RCNN\u003C\u002Fa>,\n        \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fonnx\u002Fmodels\u002Ftree\u002Fmaster\u002Fvision\u002Fobject_detection_segmentation\u002Fyolov2-coco\">Yolov2\u003C\u002Fa>,\n        \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fonnx\u002Fmodels\u002Ftree\u002Fmaster\u002Fvision\u002Fobject_detection_segmentation\u002Ftiny-yolov3\">Yolov3\u003C\u002Fa>,\n        \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fonnx\u002Fmodels\u002Ftree\u002Fmaster\u002Fvision\u002Fobject_detection_segmentation\u002Fyolov4\">Yolov4\u003C\u002Fa>,\n        \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fultralytics\u002Fyolov5\">Yolov5\u003C\u002Fa>,\n        ViT、TNT、RepVGG、VitAE、CMT、EfficientFormer ...\n      \u003C\u002Ftd>\n    \u003C\u002Ftr>\n    \u003Ctr>\n      \u003Ctd>\n        NLP\n      \u003C\u002Ftd>\n      \u003Ctd> Bert、Albert、Tinybert、神经机器翻译、文本转语音（Tactron、Tactron2、FastSpeech+hifigan、melgan）、自动语音识别、DFSMN、Conformer，\n        \u003Ca href=\"docs\u002FUSER_HANDBOOK.md#voice-wake-up\">Tdnn\u003C\u002Fa>,\n        \u003Ca href=\"https:\u002F\u002Ftfhub.dev\u002Fgoogle\u002Flite-model\u002Fnonsemantic-speech-benchmark\u002Ffrill-nofrontend\u002F1\">FRILL\u003C\u002Fa>,\n        \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fonnx\u002Fmodels\u002Ftree\u002Fmaster\u002Ftext\u002Fmachine_comprehension\u002Ft5\">T5\u003C\u002Fa>,\n        \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fonnx\u002Fmodels\u002Ftree\u002Fmaster\u002Ftext\u002Fmachine_comprehension\u002Fgpt-2\">GPT-2\u003C\u002Fa>,\n        \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fonnx\u002Fmodels\u002Ftree\u002Fmaster\u002Ftext\u002Fmachine_comprehension\u002Froberta\">Roberta\u003C\u002Fa>, Wenet ...\n      \u003C\u002Ftd>\n    \u003C\u002Ftr>\n    \u003Ctr>\n      \u003Ctd>\n        推荐系统\n      \u003C\u002Ftd>\n      \u003Ctd>\n        NFM、AFM、ONN、wide&deep、DeepFM、MMOE\n      \u003C\u002Ftd>\n    \u003C\u002Ftr>\n    \u003Ctr>\n      \u003Ctd>\n        更多深度学习任务\n      \u003C\u002Ftd>\n      \u003Ctd>\n        ...\n      \u003C\u002Ftd>\n    \u003C\u002Ftr>\n  \u003C\u002Ftable>\n\n除了上述模型外，还支持更多模型，鼓励用户进一步探索。\n\n# 设备端训练\n---\n设备端训练现已推出，目前为测试版，支持在嵌入式设备和服务器上对 [Lenet](.\u002Ftraining\u002Fdemos\u002Flenet_demo\u002F)、[Mobilenet_v1](.\u002Ftraining\u002Fdemos\u002Fmobilenet_v1_demo) 和 [Resnet18](.\u002Ftraining\u002Fdemos\u002Fresnet18_demo) 进行训练。想了解更多关于 bolt 中设备端训练的信息吗？请参阅官方训练 [教程](.\u002Ftraining\u002FTUTORIAL.md)。\n\n# 文档资料\n---\n关于 bolt 的所有信息都记录在 [docs](docs) 目录下的详细文档中。\n\n- [如何使用不同编译器安装 bolt？](docs\u002FINSTALL.md)\n- [如何使用 bolt 推理您的机器学习模型？](docs\u002FUSER_HANDBOOK.md)\n\t- [如何部署 PyTorch 模型？](docs\u002FDEPLOYMENT_GUIDE_PYTORCH_CN.md)\n\t- [如何部署 TensorFlow 模型？](docs\u002FDEPLOYMENT_GUIDE_TENSORFLOW_CN.md)\n\t- [如何部署 ONNX 模型？](docs\u002FDEPLOYMENT_GUIDE_ONNX_CN.md)\n\t- [如何部署 TFLite 模型？](docs\u002FDEPLOYMENT_GUIDE_TFLITE_CN.md)\n\t- [如何部署 Caffe 模型？](docs\u002FDEPLOYMENT_GUIDE_CAFFE_CN.md)\n- [如何开发 bolt 以支持更多自定义模型？](docs\u002FDEVELOPER.md)\n- [算子文档](docs\u002FOPERATORS.md)\n- [部分通用模型的基准测试结果](docs\u002FBENCHMARK.md)\n- [如何可视化\u002F保护 bolt 模型？](docs\u002FUSER_HANDBOOK.md#model-visualization)\n- [如何使用 kit 构建演示或示例？](docs\u002FKIT.md)\n- [常见问题解答（FAQ）](docs\u002FFAQ.md)\n\n# 文章\n---\n- [深度学习加速库Bolt领跑端侧AI](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F317111024)\n- [为什么 Bolt 这么快：矩阵向量乘的实现](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F97928435)\n- [深入硬件特性加速TinyBert，首次实现手机上Bert 6ms推理](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F158620259)\n- [Bolt GPU性能优化，让上帝帮忙掷骰子](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F336218879)\n- [Bolt助力HMS机器翻译，自然语言处理又下一城](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F337887620)\n- [ARM CPU 1-bit推理，走向极致的道路](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F158161592)\n- [基于深度学习加速库Bolt的声音克隆技术(Voice Cloning)](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F498919929)\n\n# 教程\n---\n- 图像分类: [Android Demo](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F359264809), [iOS Demo](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F359259766)\n- 图像增强: [Android Deme](.\u002Fdocs\u002FDIT.md#camera-enlarge), [iOS Demo](.\u002Fdocs\u002FDIT.md#camera-enlarge)\n- 情感分类: [Android Demo](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F414971037)\n- 中文语音识别: [Android Demo](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F414978782), [iOS Demo](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F414981121)\n- 人脸检测: [Android Demo](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F414975102), [iOS Demo](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F414971375)\n\n# 致谢\n---\nBolt参考了以下项目：[caffe](https:\u002F\u002Fgithub.com\u002FBVLC\u002Fcaffe)、[onnx](https:\u002F\u002Fgithub.com\u002Fonnx\u002Fonnx)、[tensorflow](https:\u002F\u002Fgithub.com\u002Ftensorflow\u002Ftensorflow)、[ncnn](https:\u002F\u002Fgithub.com\u002FTencent\u002Fncnn)、[mnn](https:\u002F\u002Fgithub.com\u002Falibaba\u002FMNN)、[dabnn](https:\u002F\u002Fgithub.com\u002FJDAI-CV\u002Fdabnn)。\n\n# 许可证\n---\nMIT许可证(MIT)","# Bolt 快速上手指南\n\nBolt 是华为诺亚方舟实验室开源的轻量级深度学习部署库，旨在自动化部署流程并实现极致加速。它支持多种模型格式（Caffe, ONNX, TFLite, Tensorflow）和精度（FP32, FP16, INT8, 1-BIT），在 ARM、X86 CPU 及各类 GPU 上均有优异表现，尤其擅长 NLP 和常见 CV 任务。\n\n## 环境准备\n\n### 系统要求\nBolt 支持跨平台编译，主要支持以下操作系统：\n- **Linux** (推荐 Ubuntu\u002FCentOS)\n- **Windows** (需安装 Git Bash 或类似 Shell 环境)\n- **macOS**\n- **Android \u002F iOS** (需交叉编译环境)\n\n### 前置依赖\n在开始之前，请确保系统已安装以下基础工具：\n- `git`：用于克隆代码仓库\n- `cmake`：版本建议 3.10+\n- 编译器：\n  - Linux\u002FmacOS: `gcc` \u002F `g++` 或 `clang`\n  - Windows: `Visual Studio Build Tools` 或 `MinGW`\n- (可选) `OpenMP`：如需开启多线程并行加速，需确保编译器支持 OpenMP。\n\n## 安装步骤\n\n### 1. 克隆仓库\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt.git\ncd bolt\n```\n\n### 2. 执行编译脚本\nBolt 提供了统一的 `install.sh` 脚本进行构建。请根据你的目标平台选择对应的命令。\n\n**通用构建命令格式：**\n```bash\n.\u002Finstall.sh --target=\u003C目标平台> [可选参数]\n```\n\n**常用平台构建示例：**\n\n*   **Linux x86_64 (默认 AVX2 优化):**\n    ```bash\n    .\u002Finstall.sh --target=linux-x86_64\n    ```\n\n*   **Android ARMv8 (支持 FP16\u002FINT8):**\n    ```bash\n    .\u002Finstall.sh --target=android-aarch64\n    ```\n\n*   **开启多线程支持 (所有平台通用):**\n    添加 `--openmp` 参数以启用多核并行加速。\n    ```bash\n    .\u002Finstall.sh --target=linux-x86_64 --openmp\n    ```\n\n*   **开启训练模块支持:**\n    添加 `--train` 参数以包含端侧训练功能。\n    ```bash\n    .\u002Finstall.sh --target=linux-x86_64 --train\n    ```\n\n*   **构建动态库 (默认是静态库):**\n    如果某些平台链接静态库出现问题，可添加 `--shared`。\n    ```bash\n    .\u002Finstall.sh --target=linux-x86_64 --shared\n    ```\n\n> **注意**：更多目标平台（如 iOS, Windows, 特定 ARM 版本等）的详细命令请参考项目根目录下的 `scripts\u002Ftarget.sh` 文件或 README 中的构建状态表。\n\n编译完成后，生成的库文件和头文件通常位于 `build` 或 `install` 目录下（具体取决于脚本输出）。\n\n## 基本使用\n\nBolt 的核心工作流是将主流框架模型转换为 Bolt 格式并进行推理。以下是一个基于命令行工具的最简使用示例。\n\n### 1. 模型转换\n假设你有一个 ONNX 模型 `resnet50.onnx`，将其转换为 Bolt 专用的 `.bolt` 模型文件。\n\n```bash\n# 进入构建后的 bin 目录 (路径可能因编译配置略有不同)\ncd build\u002Fbin\n\n# 执行模型转换\n.\u002Fmodel_convert --model_type=onnx --model_path=..\u002F..\u002Fmodels\u002Fresnet50.onnx --output_path=..\u002F..\u002Fmodels\u002Fresnet50.bolt\n```\n\n### 2. 运行推理\n使用转换后的模型进行推理测试。\n\n```bash\n# 运行推理示例 (指定模型、输入形状等)\n.\u002Fbenchmark --model=..\u002F..\u002Fmodels\u002Fresnet50.bolt --input_shape=1,3,224,224\n```\n\n### 3. C++ 代码集成示例\n在你的 C++ 项目中引入 Bolt 头文件并加载模型：\n\n```cpp\n#include \"tensor.hpp\"\n#include \"model.hpp\"\n#include \"utils.hpp\"\n\nint main() {\n    \u002F\u002F 初始化运行时环境\n    UNI_STATUS_CHECK(initialize());\n\n    \u002F\u002F 加载模型\n    Model model;\n    UNI_STATUS_CHECK(model.load(\"resnet50.bolt\"));\n\n    \u002F\u002F 准备输入数据 (示例为随机数据)\n    Tensor input = model.get_input_tensor(0);\n    fill_random(input);\n\n    \u002F\u002F 执行推理\n    UNI_STATUS_CHECK(model.predict());\n\n    \u002F\u002F 获取输出\n    Tensor output = model.get_output_tensor(0);\n    \n    \u002F\u002F 处理结果...\n    \n    return 0;\n}\n```\n\n编译你的项目时，请链接 Bolt 生成的库文件（`libbolt.a` 或 `libbolt.so`）并包含相应的头文件路径。","某智能穿戴设备团队正在将一款支持实时语音指令和手势识别的 AI 模型部署到资源受限的 ARM Cortex-M 微控制器上。\n\n### 没有 bolt 时\n- **推理延迟过高**：通用推理引擎在低功耗 CPU 上运行缓慢，导致语音响应延迟超过 500ms，用户体验卡顿。\n- **内存占用超标**：原始模型和运行时库占用了过多 RAM，导致设备频繁触发内存溢出错误，无法同时运行其他传感器任务。\n- **量化部署困难**：手动将模型从 FP32 转换为 INT8 精度过程繁琐且易出错，缺乏自动化工具支持，难以平衡精度与速度。\n- **多平台适配成本高**：针对不同批次的硬件芯片（如 armv7 与 armv8），需要反复修改底层代码进行适配，开发周期被大幅拉长。\n\n### 使用 bolt 后\n- **极致加速体验**：bolt 针对 ARM 架构的深度优化使推理速度提升 15% 以上，语音指令响应时间缩短至 200ms 以内，实现流畅交互。\n- **极简资源占用**：利用 bolt 的轻量化特性及图优化能力，成功将 ROM\u002FRAM 占用压缩至微控制器允许范围内，系统运行稳定。\n- **一键精度转换**：借助 bolt 丰富的模型转换功能，轻松完成从 ONNX\u002FTFLite 到 INT8 甚至 1-BIT 的自动化量化，在几乎不损失精度的前提下大幅提升效率。\n- **跨平台无缝部署**：bolt 原生支持多种 ARM 版本及异构计算单元，团队只需调整编译命令即可适配不同芯片，无需重写核心逻辑。\n\nbolt 通过自动化部署流水线与极端性能优化，让高复杂度的深度学习模型得以在超低功耗的边缘设备上高效落地。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fhuawei-noah_bolt_6ab65c96.png","huawei-noah","HUAWEI Noah's Ark Lab","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fhuawei-noah_2ebfeb12.png","Working with and contributing to the open source community in data mining, artificial intelligence, and related fields.",null,"http:\u002F\u002Fwww.noahlab.com.hk\u002F","https:\u002F\u002Fgithub.com\u002Fhuawei-noah",[81,85,89,93,97,100,104,108,111,115],{"name":82,"color":83,"percentage":84},"C++","#f34b7d",80.6,{"name":86,"color":87,"percentage":88},"C","#555555",9.5,{"name":90,"color":91,"percentage":92},"Python","#3572A5",5.8,{"name":94,"color":95,"percentage":96},"CMake","#DA3434",1.2,{"name":98,"color":99,"percentage":96},"Java","#b07219",{"name":101,"color":102,"percentage":103},"Jupyter Notebook","#DA5B0B",0.5,{"name":105,"color":106,"percentage":107},"Shell","#89e051",0.4,{"name":109,"color":110,"percentage":107},"Objective-C","#438eff",{"name":112,"color":113,"percentage":114},"Objective-C++","#6866fb",0.3,{"name":116,"color":117,"percentage":118},"XSLT","#EB8CEB",0,957,163,"2026-03-20T11:44:32","MIT",4,"Linux, Windows, macOS, Android, iOS","非必需。支持 Mali, Qualcomm, Intel, AMD GPU；Windows\u002FLinux x86_64 构建需指定 --gpu 参数，精度主要为 FP16。未提及特定 CUDA 版本要求。","未说明（针对 Cortex-M\u002FA7 等受限设备有最小化 ROM\u002FRAM 的 Lite 版本）",{"notes":128,"python":129,"dependencies":130},"该工具为轻量级深度学习部署库，主要使用 C\u002FC++ 开发。支持多种架构（ARM v7\u002Fv8\u002Fv9, x86 AVX2\u002FAVX512）和精度（FP32, FP16, INT8, 1-BIT）。默认链接静态库，如需动态库需添加 --shared 选项。支持开启多线程（--openmp）和设备端训练（--train）。针对资源受限设备（如 MCU）可参考 LITE.md 文档。","未说明",[131,132,133,134],"Caffe","ONNX","TFLite","Tensorflow",[36,14,13,15],[65,137,138,139,140,141,142,143,144,145,146,147,148,149,150,151,152,153,154],"inference","high-performance","x86","mali","deep-learning","cv","nlp","arm","onnx","caffe","tensorflow","android","ios","huawei","cnn","rnn","noah","mobile","2026-03-27T02:49:30.150509","2026-04-20T19:33:10.838214",[158,163,168,173,178,183],{"id":159,"question_zh":160,"answer_zh":161,"source_url":162},45430,"如何在 Mac M1 (ARM64) 平台上成功编译 Bolt？","在 Mac M1 上编译时可能会遇到 jsoncpp 链接错误或 protobuf 版本问题。解决方案如下：\n1. 使用 brew 安装 m1 版本的 protoc，并修改 `third_party\u002Finstall.sh` 中的 `PROTOC_ROOT` 和 `Protobuf_ROOT` 路径。\n2. 如果遇到 jsoncpp 链接错误，尝试重新开启 USE_TENSORFLOW 选项进行编译。\n3. 如果编译 onnx_wrapper.cpp 时报错 `too many arguments to function call` (SetTotalBytesLimit)，请将代码 `codedstr.SetTotalBytesLimit(INT_MAX, INT_MAX \u002F 2);` 修改为 `codedstr.SetTotalBytesLimit(INT_MAX);` 以适配新版 protobuf API。","https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Fissues\u002F98",{"id":164,"question_zh":165,"answer_zh":166,"source_url":167},45431,"Android 平台交叉编译失败怎么办？","Android 编译失败通常由以下原因导致：\n1. **NDK 版本问题**：Linux 环境下建议更换为 Android NDK r22 版本，旧版本或不完整的 NDK 可能导致 protobuf 编译失败。\n2. **编译器冲突 (MacOS)**：MacOS 自带 clang 与 Android NDK 的 clang 同名，导致路径优先级错误。需调整 `scripts\u002Fsetup_compiler.sh` 中的 PATH 设置顺序，确保优先使用 NDK 的编译器。","https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Fissues\u002F107",{"id":169,"question_zh":170,"answer_zh":171,"source_url":172},45432,"为什么在设备上运行时报错 'CANNOT LINK EXECUTABLE ... cannot locate symbol Mali_G76p_bin'？","该错误通常发生在 Mali GPU 内核未正确编译时。Bolt 在编译 Mali 后端时，要求通过 adb 连接真实的目标设备，以便在设备上动态编译内核并打包到 `libKernelbin.so` 中。\n解决方法：\n1. 确保编译时已通过 adb 连接了包含 Mali GPU 的设备（如麒麟 980\u002F990）。\n2. 如果无法连接设备，可以尝试静态编译模式，运行命令：`install.sh -DUSE_DYNAMIC_LIBRARY=OFF`。","https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Fissues\u002F14",{"id":174,"question_zh":175,"answer_zh":176,"source_url":177},45433,"X2bolt 或 benchmark 工具在主机上运行时提示 'Exec format error' 是什么原因？","这是因为编译的目标平台与运行环境不匹配。例如，如果你使用 `--target=android-aarch64` 进行了编译，生成的二进制文件只能在 Android 设备上运行，无法直接在 Linux x86_64 主机上执行。\n解决方法：\n- 若需在主机 (Linux\u002FMac) 上运行工具，请重新编译并将 target 设置为 `linux-x86_64` 或 `macos-x86_64`。\n- 若需测试 Android 版本，请将编译好的文件推送到 Android 设备上运行。","https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Fissues\u002F124",{"id":179,"question_zh":180,"answer_zh":181,"source_url":182},45434,"如何将 Caffe 等框架的模型转换为 Bolt 格式 (.bolt)？","推荐使用 **X2bolt** 工具进行模型转换。它支持将 Mobilenet (v1\u002Fv2)、Resnet50、Squeezenet (1.0\u002F1.1) 等常见模型从 Caffe 等框架转换为 `.bolt` 格式。\n使用方法：\n1. 编译完成后找到 X2bolt 可执行文件。\n2. 运行 `X2bolt --help` 查看详细参数说明。\n3. 指定输入模型路径和执行转换命令即可生成 XXX.bolt 文件。","https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Fissues\u002F21",{"id":184,"question_zh":185,"answer_zh":186,"source_url":187},45435,"Bolt 是否支持树莓派 (Raspberry Pi) 或 armv7 架构？","目前 Bolt **不支持** 树莓派 (armv7\u002Farmv7l) 架构。系统会报错 `can not recognize host hardware information`。\n当前 Bolt 官方支持的硬件架构仅为 **x86_64** 和 **aarch64** (ARM 64 位)。树莓派 4B 虽然性能较强，但其默认的 armv7l 系统不在支持列表中。","https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Fissues\u002F65",[189,194,199,204,209,214,219,224,229,234],{"id":190,"version":191,"summary_zh":192,"released_at":193},360352,"v1.5.2","**已修复**\n\n* 修复GPU分辨率调整错误","2024-07-08T02:50:10",{"id":195,"version":196,"summary_zh":197,"released_at":198},360353,"v1.5.1","#### 新增\n\n- 支持 Python API\n- 支持 AVX-VNNI 和 ARMv9 指令集\n- 支持 Intel 桌面 GPU（float16 和 float32）\n- 支持 Windows on ARM 平台\n- 增加更多算子支持：Random、Sin、Cos、Einsum、Elu、UnPooling、Flatten、ConvertColor、BilateralSliceApply、Lut\n- 增加更多网络支持：ViTAE、CMT、EfficientFormer、ConvTT、Wenet、NFM、AFM、ONN、wide&deep、DeepFM、MMOE 等\n- 提升 CPU 上多线程并行推理性能\n- 添加简洁的中文部署指南\n- 支持模型文件兼容性\n- 通过 SetInputOutput API 支持使用外部内存（CPU 数组或 OpenCL cl_mem）\n- 通过 C API 支持数据类型和格式转换\n\n#### 变更\n\n- TensorDesc 的 dim 数组大小调整为 20。\n- 移除 release 模式下的 __FILE__ 宏使用及警告日志。\n- 修改枚举数据及算子参数大小。\n\n#### 修复\n\n- 修复 GPU resize bug\n- 修复 GPU 并发推理 bug\n- 修复 ONNX 转换器 bug\n- 补充缺失的中文自动语音识别模型","2023-06-13T07:14:50",{"id":200,"version":201,"summary_zh":202,"released_at":203},360354,"v1.3.0","#### 新增功能\n\n- 支持在设备端进行训练，涵盖 MLP、CNN（LeNet、ResNet50、MobileNetV1）以及 Transformer\u002FBERT（文本到语音）模型。\n- X2bolt 支持修改模型的输入和输出名称。\n- 增加更多图优化：Transpose+Convolution、Swish、量化、Power+Scale。\n- 支持与动态输出相关的算子：Shape、ConstantOfShape、GenerateProposals、NonZero、NonMaxSuppression、Reshape 等。\n- 支持更多算子：GridSample、CumSum、OneHot、Round、Floor、Ceil。\n- 在 CPU 上支持更多网络：YOLOv2、YOLOv3、YOLOv4、YOLOv5、Faster R-CNN、Mask R-CNN、RetinaNet、DFSMN、FRILL、Conformer、UNet 等。\n- 支持 Armv8 int8 以加速 NLP 网络。\n- 提升 AVX2 CPU 上的推理性能。\n- 支持使用 Netron 可视化 Bolt 模型。\n- 支持不绑定 CPU 核心。\n- 添加 C API MemoryCheck，用于检测 Bolt 内存泄漏。\n\n#### 变更内容\n\n- X2bolt 新增 -I 和 -O 选项，用于修改模型的输入和输出名称。\n- X2bolt 新增 -t 选项，用于将模型转换为适合设备端训练的格式。\n- C API 的 CreateModel 和 AllocAllResultHandle 函数在失败时返回 NULL。\n- install.sh 脚本新增 --neon 选项，用于在旧平台上关闭 ARM NEON 加速。\n- 部分算子的参数定义进行了调整。\n\n#### 修复问题\n\n- 修复 GPU 上 depth2space 和反卷积的 bug。\n- 修复 ARMv8 平台上 GPU 预处理工具的 bug。\n- 修复 x86 平台 Sigmoid 精度问题。\n- 修复 C API 中 CloneResultHandle 的 bug。\n- 修复 MobileNetV1 的 int8 推理问题。\n- 修复 Windows 平台上 Java API 构建的 bug。\n- 修复 ONNX 转换器中反卷积和池化算子参数的 bug。\n\n#### 移除内容\n\n- Equal 算子已被 Check 算子取代。","2022-04-16T01:21:48",{"id":205,"version":206,"summary_zh":207,"released_at":208},360355,"v1.2.1","#### 新增功能\n\n- 支持更多图优化：卷积+卷积、LayerNorm\n- 支持更多算子：ROIAlign、GenerateProposals、Reciprocal、Not、Log、ReductionL2、InstanceNorm、Expand、Gather、Scatter\n- 支持更多算子（PReLU）处理 NCHW 格式输入数据。\n- 支持 ONNX 中 Linear、MatMul、Gemm 和 Gather 算子共享权重。\n- 在 CPU 上支持更多网络：视觉 Transformer（ViT、TNT）、推荐系统网络。\n- 在 GPU 上支持更多网络：ASR、Faster_RCNN。\n- 支持 Armv7 int8 加速 NLP 网络（提速 50% 以上）。\n- 支持 X86 AVX512 int8 加速 NLP 网络（提速 3 倍以上）。\n- 支持在 Qualcomm GPU 上使用图像，并新增 GPU 图像管理方法。\n- 提升 Qualcomm GPU 上的推理性能。\n- 新增更多 Kit Android\u002FiOS 示例：[中文 ASR](..\u002Fkit\u002FAndroid\u002FChineseSpeechRecognition)、[人脸检测](..\u002Fkit\u002FAndroid\u002FFaceDetection)、[情感分析](..\u002Fkit\u002FAndroid\u002FSemantics)。\n- 尝试在使用 GPU 时绑定核心。\n\n#### 变更内容\n\n- 在安装 Shell 脚本中将 *mali* 选项替换为 *gpu*，并移除默认目标选项设置。\n- 将 GPU 的数据格式从 *NCWHC4* 改为 *NCHWC4*。\n- 简化了 GPU 使用 *OclMemory* 进行张量填充的方法。\n- 工具 [preprocess_ocl](..\u002Finference\u002Fengine\u002Ftools\u002Fpreprocess_ocl) 此前会生成 algofile 和 *xxxlib.so* 文件，现在已将 algofile 打包进该 *xxxlib.so* 文件中。\n- 在 X2bolt 工具中新增 *BNN_FP16* 选项，用于转换 ONNX 1 位模型。\n- 在 post_training_quantization 工具中将原有的 *INT8* 选项替换为 *INT8_FP16*，用于转换 int8+float16 混合精度推理模型，并新增 *INT8_FP32* 选项，用于转换 int8+float32 混合精度推理模型。\n- 新增 Shell 环境变量 *BOLT_INT8_STORAGE_ERROR_THRESHOLD*，用于控制 post_training_quantization 对 int8 模型的转换，其默认值为 0.002。当量化误差低于此阈值时，post_training_quantization 将采用 int8 存储方式。\n\n#### 修复内容\n\n- 修复 PReLU 2D、3D 的支持问题。\n- 修复部分模式下的 Resize Bug。\n- 修复 ONNX 转换器读取 Squeeze、UnSqueeze、Deconv 参数的 Bug。\n- 修复 Arm 上 Sigmoid 的精度问题。\n- 修复 ONNX RNN 优化器，并新增对 NCHWC8 输入数据的支持。\n- 修复 ONNX 转换器中带有权重张量的 Concat 操作。\n- 简化 C API 示例。","2021-10-01T15:45:53",{"id":210,"version":211,"summary_zh":212,"released_at":213},360356,"v1.2.0","### 新增功能\n\n- 支持在 macOS 上进行 x86 编译以及针对 iOS\u002FAndroid 的交叉编译\n- 支持在 Windows 上进行 x86 编译以及针对 Android 的交叉编译\n- 在 Linux 上通过使用 `linux-armv7_blank` 目标，支持 MTK armv7 交叉编译工具链\n- 新增 GitBook 用户参考文档\n- 支持最近邻插值和带对齐角点的插值操作\n- 增加更多图优化：Transpose+Concat+Transpose、Padding+Transpose、HardSwish 融合、Relu6 融合、Resize 融合、SwapTransposeEltwise、SwapPadTranspose、Convolution+Eltwise、Transpose+Matmul\n- 支持更多算子：3D 卷积、Where、SoftPlus、Exp、Split、TDNN、Dropout、TopK、SpaceToBatchNd、BatchToSpaceNd、Abs、Equal、Sign、Resize（更多模式）\n- 在 CPU 上支持更多网络：ResNet、TDNN、ShuffleNet、DenseNet、HRNet、EfficientNet、Noah KWS2.0\n- 在 Mali GPU 上支持更多网络：TinyBert、NMT\n- 新增多个 Android\u002FiOS 示例项目：[Simple-Image-Classification](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Ftree\u002Fv1.2.0\u002Fkit\u002FAndroid\u002FSimpleImageClassification)、[Image-SuperResolution](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Ftree\u002Fv1.2.0\u002Fkit\u002FAndroid\u002FCameraEnlarge)、[Image-Classification](https:\u002F\u002Fgithub.com\u002Fhuawei-noah\u002Fbolt\u002Ftree\u002Fv1.2.0\u002Fkit\u002FAndroid\u002FSimpleImageClassification)\n- 支持在任何硬件上以 float16 和 int8 格式存储模型\n- 新增 Flow Java API\n\n### 变更内容\n\n- 更改编译安装及 GPU 库相关 Shell 脚本\n- 优化 TfSlice 算子，在 CPU 上提速 75% 以上\n- 优化 Concat 算子，在 CPU 上提速 50% 以上\n- 优化 Deconvolution 算子，在 CPU 上提速 10% 以上\n- 优化 YoloDetection 网络，在 CPU 上提速 15% 以上\n- 将 ResNet50 在 x86 平台上从 90ms+ 优化至 70ms+，速度超越 OpenVINO\n- 将 MobileNet v1\u002Fv2 在 x86 平台上提速 10% 以上\n- 将 TTS-MelGAN 网络在 x86 平台上从 200ms+ 优化至 160ms\n- 优化模型加载时间\n- 更改 Java API 包名，统一使用 `com.huawei.noah`，并将单个 API 文件拆分为 6 个文件。\n\n### 修复问题\n\n- 修复 op\u002Ftensor 名称长度超过 128 时无法支持的 bug\n- 修复 Caffe 输入维度提取错误\n- 修复 ONNX 转换器中处理单输入 Concat 的问题\n- 修复 NHWC 格式下 padding 不被支持的 bug\n- 修复 TFLite 转换器中未正确插入 Relu6 的问题\n- 修复 GRU、LSTM 和 LBR_GRU 模型转换与推理中的 bug\n- 修复 x86 平台上卷积和全连接算子的推理问题\n\n### 移除内容\n\n- 移除第三方库 FFTW，改用 FFTS 实现 ASR 示例","2021-04-07T06:34:31",{"id":215,"version":216,"summary_zh":217,"released_at":218},360357,"v1.1.0","# v1.1.0\n- 更新 Linux 上的安装脚本","2021-01-29T13:03:45",{"id":220,"version":221,"summary_zh":222,"released_at":223},360358,"v1.0.0","# v1.0.0\n- 支持在 X86 AVX2 CPU 上使用 FP32 精度\n- 支持部分 FP32 算子（卷积、LSTM）多线程并行\n- 支持 TensorFlow 模型\n- 支持更多网络模型（PointNet 等）\n- 支持更多网络的 INT8 推理（TinyBert、NMT、ASR）\n- 支持时序数据加速\n- 支持 Apple iOS 手机","2020-11-22T10:35:07",{"id":225,"version":226,"summary_zh":227,"released_at":228},360359,"v0.3.0","# 发布 v0.3.0\n- 优化了 ARM MALI GPU 上的 fp16 性能\n- 支持 ARMv7 CPU 上的 fp32\n- 支持 int8 PTQ 校准\n- 支持更多网络模型（SSD、ASR、TTS）\n- 支持 ARM MALI GPU 上的图像分类任务","2020-06-08T05:14:26",{"id":230,"version":231,"summary_zh":232,"released_at":233},360360,"v0.2.0","# 发布 v0.2.0\n- 支持 ARM CPU 上的 FP32\n- 支持 ARM MALI GPU 上的 FP16\n- 支持特征图的内存复用以及算子间的权重共享\n- 支持动态输入尺寸\n- 支持 CPU 亲和性设置\n- 支持卷积算法自动调优（运行时调优或全参数空间搜索）\n- 支持 Java 和 C API","2020-06-05T15:09:23",{"id":235,"version":236,"summary_zh":237,"released_at":238},360361,"v0.1.0","## 发布 v0.1.0\n- 支持 Caffe\u002FONNX\u002FTFLite\n- 支持 fp16\u002Fint8\u002F二值化\n- 支持序列模型\u002FCNN\u002FLSTM（计算机视觉和自然语言处理中的常用模型）","2020-03-10T15:17:07"]