简介

---

Bolt 是一个轻量级的深度学习库。 作为适用于各类神经网络的通用部署工具，Bolt 旨在自动化部署流程并实现极致加速。 Bolt 已在华为公司多个部门广泛部署和使用，例如 2012 实验室、消费者业务集团（CBG）以及各产品线。

如果您有任何问题或建议，欢迎提交 Issue。QQ 群：833345709

为什么 Bolt 是您需要的？

---

• 高性能： 比现有开源加速库快 15%+。
• 丰富的模型转换支持： 支持 Caffe、ONNX、TFLite 和 TensorFlow。
• 多种推理精度： 支持 FP32、FP16、INT8 和 1-BIT。
• 多平台支持： ARM CPU（v7、v8、v8.2+、v9）、x86 CPU（AVX2、AVX512）、GPU（Mali、Qualcomm、Intel、AMD）。
• Bolt 首次支持 NLP，同时也支持常见的计算机视觉应用。
• 最小化 ROM/RAM 占用。
• 丰富的图优化。
• 高效的线程亲和性设置。
• 自动算法调优。
• 时间序列数据加速。

更多优秀特性及详细信息请见这里

构建状态

---

目前有一些常用的推理平台。更多目标平台可在 scripts/target.sh 中查看。请根据您的环境选择合适的配置。

如果您希望构建设备端训练模块，可以添加 --train 选项。 如果需要使用多线程并行，可以添加 --openmp 选项。 若要为 ROM/RAM 资源受限的 Cortex-M 或 Cortex-A7（如传感器、MCU）构建，则可参考 docs/LITE.md。

Bolt 默认链接静态库，这在某些平台上可能会导致问题。您可以使用 --shared 选项来链接共享库。

目标平台	精度	构建命令	Linux	Windows	MacOS
Android(armv7)	fp32,int8	./install.sh --target=android-armv7
Android(armv8)	fp32,int8	./install.sh --target=android-aarch64 --fp16=off
Android(armv8.2+)	fp32,fp16,int8,bnn	./install.sh --target=android-aarch64
Android(armv9)	fp32,fp16,bf16,int8,bnn	./install.sh --target=android-aarch64_v9
Android(gpu)	fp16	./install.sh --target=android-aarch64 --gpu
Android(x86_64)	fp32,int8	./install.sh --target=android-x86_64
iOS(armv7)	fp32,int8	./install.sh --target=ios-armv7	/	/
iOS(armv8)	fp32,int8	./install.sh --target=ios-aarch64 --fp16=off	/	/
iOS(armv8.2+)	fp32,fp16,int8,bnn	./install.sh --target=ios-aarch64	/	/
Linux(armv7)	fp32,int8	./install.sh --target=linux-armv7_blank		/	/
Linux(armv8)	fp32,int8	./install.sh --target=linux-aarch64_blank --fp16=off		/	/
Linux(armv8.2+)	fp32,fp16,int8,bnn	./install.sh --target=linux-aarch64_blank		/	/
Linux(x86_64)	fp32,int8	./install.sh --target=linux-x86_64		/	/
Linux(x86_64_avx2)	fp32	./install.sh --target=linux-x86_64_avx2		/	/
Linux(x86_64_avx512)	fp32,int8	./install.sh --target=linux-x86_64_avx512		/	/
Windows(x86_64)	fp32,int8	./install.sh --target=windows-x86_64	/		/
Windows(x86_64_avx2)	fp32	./install.sh --target=windows-x86_64_avx2	/		/
Windows(gpu)	fp16	./install.sh --target=windows-x86_64_avx2 --gpu --fp16=on	/		/
Windows(x86_64_avx512)	fp32,int8	./install.sh --target=windows-x86_64_avx512	/		/
Windows(armv8.2+)	fp32,fp16,int8,bnn	./install.sh --target=windows-aarch64	/	/	
MacOS(x86_64)	fp32,int8	./install.sh --target=macos-x86_64	/	/	
MacOS(x86_64_avx2)	fp32	./install.sh --target=macos-x86_64_avx2	/	/	
MacOS(x86_64_avx512)	fp32,int8	./install.sh --target=macos-x86_64_avx512	/	/	
MacOS(armv8.2+)	fp32,fp16,int8,bnn	./install.sh --target=macos-aarch64	/	/	

快速入门

---

使用 bolt 进行开发的两个步骤。

1. 转换：使用 X2bolt 将您的模型从 Caffe、ONNX、TFLite 或 TensorFlow 转换为 .bolt 文件；

2. 推理：运行 benchmark，传入 .bolt 文件和数据以获取推理结果。

   有关 X2bolt 和 benchmark 工具的更多使用详情，请参阅 docs/USER_HANDBOOK.md。

Bolt 中的深度学习应用

以下展示了一些有趣且实用的 bolt 应用。

图像分类 安卓 iOS	人脸检测 iOS 可执行文件	姿态检测 安卓

语义分析 安卓	阅读理解 安卓	中文语音识别 安卓 iOS

经验证的网络

---

Bolt 在常见 CV、NLP 和推荐系统的神经网络推理中展现了其高性能。我们已验证的一些代表性网络如下所示。您可以在 docs/BENCHMARK.md 中找到详细的基准测试信息。

应用领域	模型
CV	Resnet50、Shufflenet、Squeezenet、Densenet、Efficientnet、Mobilenet_v1、Mobilenet_v2、Mobilenet_v3， BiRealNet, ReActNet, Ghostnet, unet, LCNet、Pointnet， hair-segmentation, duc, fcn, retinanet, SSD, Faster-RCNN, Mask-RCNN, Yolov2, Yolov3, Yolov4, Yolov5, ViT、TNT、RepVGG、VitAE、CMT、EfficientFormer ...
NLP	Bert、Albert、Tinybert、神经机器翻译、文本转语音（Tactron、Tactron2、FastSpeech+hifigan、melgan）、自动语音识别、DFSMN、Conformer， Tdnn, FRILL, T5, GPT-2, Roberta, Wenet ...
推荐系统	NFM、AFM、ONN、wide&deep、DeepFM、MMOE
更多深度学习任务	...

除了上述模型外，还支持更多模型，鼓励用户进一步探索。

设备端训练

---

设备端训练现已推出，目前为测试版，支持在嵌入式设备和服务器上对 Lenet、Mobilenet_v1 和 Resnet18 进行训练。想了解更多关于 bolt 中设备端训练的信息吗？请参阅官方训练 教程。

文档资料

---

关于 bolt 的所有信息都记录在 docs 目录下的详细文档中。

• 如何使用不同编译器安装 bolt？
• 如何使用 bolt 推理您的机器学习模型？
  • 如何部署 PyTorch 模型？
  • 如何部署 TensorFlow 模型？
  • 如何部署 ONNX 模型？
  • 如何部署 TFLite 模型？
  • 如何部署 Caffe 模型？
• 如何开发 bolt 以支持更多自定义模型？
• 算子文档
• 部分通用模型的基准测试结果
• 如何可视化/保护 bolt 模型？
• 如何使用 kit 构建演示或示例？
• 常见问题解答（FAQ）

文章

---

• 深度学习加速库Bolt领跑端侧AI
• 为什么 Bolt 这么快：矩阵向量乘的实现
• 深入硬件特性加速TinyBert，首次实现手机上Bert 6ms推理
• Bolt GPU性能优化，让上帝帮忙掷骰子
• Bolt助力HMS机器翻译，自然语言处理又下一城
• ARM CPU 1-bit推理，走向极致的道路
• 基于深度学习加速库Bolt的声音克隆技术(Voice Cloning)

教程

---

• 图像分类: Android Demo, iOS Demo
• 图像增强: Android Deme, iOS Demo
• 情感分类: Android Demo
• 中文语音识别: Android Demo, iOS Demo
• 人脸检测: Android Demo, iOS Demo

致谢

---

Bolt参考了以下项目：caffe、onnx、tensorflow、ncnn、mnn、dabnn。

许可证

---

MIT许可证(MIT)

Bolt 快速上手指南

Bolt 是华为诺亚方舟实验室开源的轻量级深度学习部署库，旨在自动化部署流程并实现极致加速。它支持多种模型格式（Caffe, ONNX, TFLite, Tensorflow）和精度（FP32, FP16, INT8, 1-BIT），在 ARM、X86 CPU 及各类 GPU 上均有优异表现，尤其擅长 NLP 和常见 CV 任务。

环境准备

系统要求

Bolt 支持跨平台编译，主要支持以下操作系统：

• Linux (推荐 Ubuntu/CentOS)
• Windows (需安装 Git Bash 或类似 Shell 环境)
• macOS
• Android / iOS (需交叉编译环境)

前置依赖

在开始之前，请确保系统已安装以下基础工具：

• git：用于克隆代码仓库
• cmake：版本建议 3.10+
• 编译器：
  • Linux/macOS: gcc / g++ 或 clang
  • Windows: Visual Studio Build Tools 或 MinGW
• (可选) OpenMP：如需开启多线程并行加速，需确保编译器支持 OpenMP。

安装步骤

1. 克隆仓库

git clone https://github.com/huawei-noah/bolt.git
cd bolt

2. 执行编译脚本

Bolt 提供了统一的 install.sh 脚本进行构建。请根据你的目标平台选择对应的命令。

通用构建命令格式：

./install.sh --target=<目标平台> [可选参数]

常用平台构建示例：

• Linux x86_64 (默认 AVX2 优化):

  ./install.sh --target=linux-x86_64
  

• Android ARMv8 (支持 FP16/INT8):

  ./install.sh --target=android-aarch64
  

• 开启多线程支持 (所有平台通用): 添加 --openmp 参数以启用多核并行加速。

  ./install.sh --target=linux-x86_64 --openmp
  

• 开启训练模块支持: 添加 --train 参数以包含端侧训练功能。

  ./install.sh --target=linux-x86_64 --train
  

• 构建动态库 (默认是静态库): 如果某些平台链接静态库出现问题，可添加 --shared。

  ./install.sh --target=linux-x86_64 --shared
  

注意：更多目标平台（如 iOS, Windows, 特定 ARM 版本等）的详细命令请参考项目根目录下的 scripts/target.sh 文件或 README 中的构建状态表。

编译完成后，生成的库文件和头文件通常位于 build 或 install 目录下（具体取决于脚本输出）。

基本使用

Bolt 的核心工作流是将主流框架模型转换为 Bolt 格式并进行推理。以下是一个基于命令行工具的最简使用示例。

1. 模型转换

假设你有一个 ONNX 模型 resnet50.onnx，将其转换为 Bolt 专用的 .bolt 模型文件。

# 进入构建后的 bin 目录 (路径可能因编译配置略有不同)
cd build/bin

# 执行模型转换
./model_convert --model_type=onnx --model_path=../../models/resnet50.onnx --output_path=../../models/resnet50.bolt

2. 运行推理

使用转换后的模型进行推理测试。

# 运行推理示例 (指定模型、输入形状等)
./benchmark --model=../../models/resnet50.bolt --input_shape=1,3,224,224

3. C++ 代码集成示例

在你的 C++ 项目中引入 Bolt 头文件并加载模型：

#include "tensor.hpp"
#include "model.hpp"
#include "utils.hpp"

int main() {
    // 初始化运行时环境
    UNI_STATUS_CHECK(initialize());

    // 加载模型
    Model model;
    UNI_STATUS_CHECK(model.load("resnet50.bolt"));

    // 准备输入数据 (示例为随机数据)
    Tensor input = model.get_input_tensor(0);
    fill_random(input);

    // 执行推理
    UNI_STATUS_CHECK(model.predict());

    // 获取输出
    Tensor output = model.get_output_tensor(0);
    
    // 处理结果...
    
    return 0;
}

编译你的项目时，请链接 Bolt 生成的库文件（libbolt.a 或 libbolt.so）并包含相应的头文件路径。