英语 | 简体中文

[![zread](https://img.shields.io/badge/Ask_Zread-_.svg?style=plastic&color=00b0aa&labelColor=000000&logo=data%3Aimage%2Fsvg%2Bxml%3Bbase64%2CPHN2ZyB3aWR0aD0iMTYiIGhlaWdodD0iMTYiIHZpZXdCb3g9IjAgMCAxNiAxNiIgZmlsbD0ibm9uZSIgeG1sbnM9Imh0dHA6Ly93d3cudzMub3JnLzIwMDAvc3ZnIj4KPHBhdGggZD0iTTQuOTYxNTYgMS42MDAxSDIuMjQxNTZDMS44ODgxIDEuNjAwMSAxLjYwMTU2IDEuODg2NjQgMS42MDE1NiAyLjI0MDFWNC45NjAxQzEuNjAxNTYgNS4zMTM1NiAxLjg4ODEgNS42MDAxIDIuMjQxNTYgNS42MDAxSDQuOTYxNTZDNS4zMTUwMiA1LjYwMDEgNS42MDE1NiAxMC42ODY0IDUuMzE1MDIgMTAuMzk5OSAxLjYwMTU2IDEwLjM5OTlIMi4yNDE1NkMxLjg4ODEgMTAuMzk5OSA1LjYwMTU2IDEwLjY4NjQgMS42MDE1NiAxMS4wMzk5VjEzLjc1OTlDMS42MDE1NiAxNC4xMTM0IDEuODg4MSAxNC4zOTk5IDIuMjQxNTYgMTQuMzk5OUg0Ljk2MTU2QzUuMzE1MDIgMTQuMzk5OSA0Ljk2MTU2IDEwLjM5OTlaIiBmaWxsPSIjZmZmIi8%2BCjxwYXRoIGQ9Ik0xMy43NTg0IDEuNjAwMUgxMS4wMzg0QzEwLjY4NSAxLjYwMDEgMTAuMzk4NCAxLjg4NjY0IDE0LjExMzQgNS42MDE1NiAxMy43NTk5VjExLjAzOTlDNS42MDE1NiAxMC42ODY0IDUuMzE1MDIgMTAuMzk5OSA0Ljk2MTU2IDEwLjM5OTlaIiBmaWxsPSIjZmZmIi8%2BCjxwYXRoIGQ9Ik00IDEyTDEyIDQiIHN0cm9rZT0iI2ZmZiIgc3Ryb2tlLXdpZHRoPSIxLjUiIHN0cm9rZS1saW5lY2FwPSJyb3VuZCIvPgo8cGF0aCBkPSJNNCAxMkwxMiA0TDQgMTJaIiBmaWxsPSIjZmZmIi8%2BCjxwYXRoIGQ9Ik00IDEyTDEyIDQiIHN0cm9rZT0iI2ZmZiIgc3Ryb2tlLXdpZHRoPSIxLjUiIHN0cm9rZS1saW5lY2FwPSJyb3VuZCIvPgo8cGF0aCBkPSJNNCAxMkwxMiA0TDQgMTJaIiBmaWxsPSIjZmZmIi8%2BCjxwYXRoIGQ9Ik00IDEyTDEyIDQiIHN0cm9rZT0iI2ZmZiIgc3Ryb2tlLXdpZHRoPSIxLjUiIHN0cm9rZS1saW5lY2FwPSJyb3VuZCIvPgo8cGF0aCBkPSJNNCAxMkwxMiA0TDQgMTJaIiBmaWxsPSIjZmZmIi8%2BCjxwYXRoIGQ9Ik00IDEyTDEyIDQiIHN0cm9rZT0iI2ZmZiIgc3Ryb2tlLXdpZHRoPSIxLjUiIHN0cm9rZS1saW5lY2FwPSJyb3VuZCIvPgo8cGF0aCBkPSJNNCAxMkwxMiA0TDQgMTJaIiBmaWxsPSIjZmZmIi8%2BCjxwYXRoIGQ9Ik00IDEyTDEyIDQiIHN0cm9rZT0iI2ZmZiIgc3Ryb2tlLXdpZHRoPSIxLjUiIHN0cm9rZS1saW5lY2FwPSJyb3VuZCIvPgo8cGF0aCBkPSJNNCAxMkwxMiA0TDQgMTJaIiBmaWxsPSIjZmZmIi8%2BCjxwYXRoIGQ9Ik00IDEyTDEyIDQiIHN0cm9rZT0iI2ZmZiIgc3Ryb2tlLXdpZHRoPSIxLjUiIHN0cm9rZS1saW5lY2FwPSJyb3VuZCIvPgo8cGF0aCBkPSJNNCAxMkwxMiA0TDQgMTJaIiBmaWxsPSIjZmZmIi8%2BCjxwYXRoIGQ9Ik00IDEyTDEyIDQiIHN0cm9rZT0iI2ZmZiIgc3Ryb2tlLXdpZHRoPSIxLjUiIHN0cm9rZ......英语 | 简体中文

[![zread](https://img.shields.io/badge/Ask_Zread-_.svg?style=plastic&color=00b0aa&labelColor=000000&logo=data%3Aimage%2Fsvg%2Bxml%3Bbase64%2CPHN2ZyB3aWR0aD0iMTYiIGhlaWdodD0iMTYiIHZpZXdCb3g9IjAgMCAxNiAxNiIgZmlsbD0ibm9uZSIgeG1sbnM9Imh0dHA6Ly93d3cudzMub3JnLzIwMDAvc3ZnIj4KPHBhdGggZD0iTTQuOTYxNTYgMS42MDAxSDIuMjQxNTZDMS44ODgxIDEuNjAwMSAxLjYwMTU2IDEuODg2NjQgMS42MDE1NiAyLjI0MDFWNC45NjAxQzEuNjAxNTYgNS4zMTM1NiAxLjg4ODEgNS42MDAxIDIuMjQxNTYgNS42MDAxSDQuOTYxNTZDNS4zMTUwMiA1LjYwMDEgNS42MDE1NiAxMC42ODY0IDUuMzE1MDIgMTAuMzk5OSAxLjYwMTU2IDEwLjM5OTlIMi4yNDE1NkMxLjg4ODEgMTAuMzk5OSA1LjYwMTU2IDEwLjY4NjQgMS42MDE1NiAxMS4wMzk5VjEzLjc1OTlDMS42MDE1NiAxNC4xMTM0IDEuODg4MSAxNC4zOTk5IDIuMjQxNTYgMTQuMzk5OUg0Ljk2MTU2QzUuMzE1MDIgMTQuMzk5OSA0Ljk2MTU2IDEwLjM5OTlaIiBmaWxsPSIjZmZmIi8%2BCjxwYXRoIGQ9Ik0xMy43NTg0IDEuNjAwMUgxMS4wMzg0QzEwLjY4NSAxLjYwMDEgMTAuMzk4NCAxLjg4NjY0IDE0LjExMzQgNS42MDE1NiAxMy43NTk5VjExLjAzOTlDNS42MDE1NiAxMC42ODY0IDUuMzE1MDIgMTAuMzk5OSA0Ljk2MTU2IDEwLjM5OTlaIiBmaWxsPSIjZmZmIi8%2BCjxwYXRoIGQ9Ik00IDEyTDEyIDQiIHN0cm9rZT0iI2ZmZiIgc3Ryb2tlLXdpZHRoPSIxLjUiIHN0cm9rZS1saW5lY2FwPSJyb3VuZCIvPgo8cGF0aCBkPSJNNCAxMkwxMiA0TDQgMTJaIiBmaWxsPSIjZmZmIi8%2BCjxwYXRoIGQ9Ik00IDEyTDEyIDQiIHN0cm9rZT0iI2ZmZiIgc3Ryb2tlLXdpZHRoPSIxLjUiIHN0cm9rZS1saW5lY2FwPSJyb3VuZCIvPgo8cGF0aCBkPSJNNCAxMkwxMiA0TDQgMTJaIiBmaWxsPSIjZmZmIi8%2BCjxwYXRoIGQ9Ik00IDEyTDEyIDQiIHN0cm9rZT0iI2ZmZiIgc3Ryb2tlLXdpZHRoPSIxLjUiIHN0cm9rZS1saW5lY2FwPSJyb3VuZCIvPgo8cGF0aCBkPSJNNCAxMkwxMiA0TDQgMTJaIiBmaWxsPSIjZmZmIi8%2BCjxwYXRoIGQ9Ik00IDEyTDEyIDQiIHN0cm9rZT0iI2ZmZiIgc3Ryb2tlLXdpZHRoPSIxLjUiIHN0cm9rZS1saW5lY2FwPSJyb3VuZCIvPgo8cGF0aCBkPSJNNCAxMkwxMiA0TDQgMTJaIiBmaWxsPSIjZmZmIi8%2BCjxwYXRoIGQ9Ik00IDEyTDEyIDQiIHN0cm9rZT0iI2ZmZiIgc3Ryb2tlLXdpZHRoPSIxLjUiIHN0cm9rZS1saW5lY2FwPSJyb3VuZCIvPgo8cGF0aCBkPSJNNCAxMkwxMiA0TDQgMTJaIiBmaWxsPSIjZmZmIi8%2BCjxwYXRoIGQ9Ik00IDEyTDEyIDQiIHN0cm9rZT0iI2ZmZiIgc3Ryb2tlLXdpZHRoPSIxLjUiIHN0cm9rZS1saW5lY2FwPSJyb3VuZCIvPgo8cGF0aCBkPSJNNCAxMkwxMiA0TDQgMTJaIiBmaWxsPSIjZmZmIi8%2BCjxwYXRoIGQ9Ik00IDEyTDEyIDQiIHN0cm9rZT0iI2ZmZiIgc3Ryb2tlLXdpZHRoPSIxLjUiIHN0cm9rZ......

目录 📖💡

• 功能特性
• 演示示例
• 演示代码库
• 框架
• 快速入门
  • 环境配置
  • 构建
  • 模型
  • 使用方法
• 示例用法
  • 人脸检测
  • 人脸关键点检测
  • 人脸对齐
  • 人脸解析
  • OCR 字符识别
  • YoloX
  • YoloV7
  • YoloV8
  • MobileVit
  • MoveNet
  • MobileStyleGan
  • AnimeGan
• 常见问题
• 维护人员
• 贡献方式
  • 贡献者
• 许可证

框架 📝 📝

目前提供两种模式：S 模式（C API）和 H 模式（C++ API）。

快速入门 ⚡⚡

环境配置

docker pull mister5ive/ai.deploy.box

构建

使用 Docker（推荐）

git lfs clone https://github.com/TalkUHulk/ai.deploy.box.git
cd ai.deploy.box.git
docker build -t aidb-dev .
docker run -it --name aidb-test aidb-dev

从源码构建

git lfs clone https://github.com/TalkUHulk/ai.deploy.box.git
cd ai.deploy.box.git
mkdir build && cd build
cmake .. -DC_API={ON/OFF} -DBUILD_SAMPLE={ON/OFF} -DBUILD_PYTHON={ON/OFF} -DBUILD_LUA={ON/OFF} -DENGINE_NCNN_WASM={ON/OFF} -DOPENCV_HAS_FREETYPE={ON/OFF} -DENGINE_MNN={ON/OFF} -DENGINE_ORT={ON/OFF} -DENGINE_NCNN={ON/OFF} -DENGINE_TNN={ON/OFF} -DENGINE_OPV={ON/OFF} -DENGINE_PPLite={ON/OFF}
make -j8

• C_API: 编译 C 库；
• BUILD_PYTHON: 编译 Python API；
• BUILD_LUA: 编译 Lua API；
• OPENCV_HAS_FREETYPE: 开启 OpenCV 与 FreeType 的兼容性。cv::putText 可以支持中文显示；
• BUILD_SAMPLE: 编译示例程序；
• ENGINE_NCNN_WASM: 编译示例程序；
• ENGINE_MNN: 启用 MNN；
• ENGINE_ORT: 启用 ONNX Runtime；
• ENGINE_NCNN: 启用 ncnn；
• ENGINE_TNN: 启用 TNN；
• ENGINE_OPV: 启用 OpenVINO；
• ENGINE_PPLite: 启用 Paddle Lite；
• ENABLE_SD: 启用 Stable Diffusion；

模型

Model Lite：MEGA | 百度：92e8

[新闻!!!] 所有模型均已转换为 🤗。

使用方法

示例：通过 MNN 使用 scrfd 检测人脸：

#include <opencv2/opencv.hpp>
#include "Interpreter.h"
#include "utility/Utility.h"

auto interpreter = AIDB::Interpreter::createInstance("scrfd_500m_kps", "mnn");

auto bgr = cv::imread("./doc/test/face.jpg");

cv::Mat blob = *det_ins << bgr;

std::vector<std::vector<float>> outputs;

std::vector<std::vector<int>> outputs_shape;

det_ins->forward((float*)blob.data, det_ins->width(), det_ins->height(), det_ins->channel(), outputs, outputs_shape);

std::vector<std::shared_ptr<AIDB::FaceMeta>> face_metas;

assert(face_detect_input->scale_h() == face_detect_input->scale_w());

AIDB::Utility::scrfd_post_process(outputs, face_metas, det_ins->width(), det_ins->height(), det_ins->scale_h());

示例用法

在 Linux 系统中，运行测试前请先执行 source set_env.sh 命令。

./build/samples/FaceDetect model_name backend type inputfile

./build/samples/FaceDetectWithLandmark model_name backend pfpld backend type inputfile

./build/samples/FaceDetectWith3DDFA det_model_name backend tddfa_model_name backend type inputfile

./build/samples/FaceParsing bisenet backend type inputfile

./build/samples/PPOcr ppocr_det det_backend ppocr_cls cls_backend ppocr_ret rec_backend  type inputfile

./build/samples/YoloX model_name backend type inputfile

./build/samples/YoloV7 model_name backend type inputfile

./build/samples/YoloV8 model_name backend type inputfile

./build/samples/MobileViT model_name backend inputfile

./build/samples/Movenet movenet backend type inputfile

./build/samples/MobileStyleGan mobilestylegan_mappingnetwork map_backend mobilestylegan_synthesisnetwork syn_backend

./build/samples/AnimeGan model_name backend 0 inputfile

风险与陷阱 🐱 🐶 🐭 🐹 🐰 🐺 🐸 🐯 🐨 🐻 🐷

XXXX/3rdparty/yaml-cpp/depthguard.h:54:9：错误：在禁用异常的情况下，无法使用 'throw'

从 XXXX/opencv/native/jni/include/opencv2/opencv.hpp:65 中包含的文件中出现此错误：

从 XXXX/opencv/native/jni/include/opencv2/flann.hpp:48 中包含的文件中出现此错误：

从 XXXX/opencv/native/jni/include/opencv2/flann/flann_base.hpp:41 中包含的文件中出现此错误：

从 XXXX/opencv/native/jni/include/opencv2/flann/params.h:35 中包含的文件中出现此错误：

XXXX/opencv/native/jni/include/opencv2/flann/any.h:60:63：错误：使用 typeid 时需要启用 -frtti

externalNativeBuild {
            ndkBuild {
                cppFlags "-std=c++11", "-fexceptions"
                arguments "APP_OPTIM=release", "NDK_DEBUG=0"
                abiFilters "arm64-v8a"
            }
        }

cmake -DCMAKE_TOOLCHAIN_FILE=../../android-ndk-r25c/build/cmake/android.toolchain.cmake -DANDROID_ABI="arm64-v8a" -DANDROID_PLATFORM=android-24 -DNCNN_SHARED_LIB=ON -DANDROID_ARM_NEON=ON -DNCNN_DISABLE_EXCEPTION=OFF -DNCNN_DISABLE_RTTI=OFF ..

I/MNNJNI: 无法找到类型为 3 的后端，改为使用 0

在加载 SO 文件时，显式调用 System.load("libMNN_CL.so")。然而，在 CMakeLists.txt 中，似乎无法通过将 SO 文件链接到 libMNN_CL 上来解决问题。
init {
            System.loadLibrary("aidb")
            System.loadLibrary("MNN");
            try {
                System.loadLibrary("MNN_CL")
                System.loadLibrary("MNN_Express")
                System.loadLibrary("MNN_Vulkan")
            } catch (ce: Throwable) {
                Log.w("MNNJNI", "load MNN GPU so exception=%s", ce)
            }
            System.loadLibrary("mnncore")
}

内存不足：Java 堆空间

gradle.properties -> org.gradle.jvmargs=-Xmx4g -Dfile.encoding=UTF-8

dlopen failed: 库 “libc++_shared.so” 未找到

add_library(libc++_shared STATIC IMPORTED)
set_target_properties(libc++_shared PROPERTIES IMPORTED_LOCATION ${CMAKE_CURRENT_LIST_DIR}/../libs/android/opencv/native/libs/${ANDROID_ABI}/libc++_shared.so)

java.lang.UnsatisfiedLinkError: dlopen failed: 无法定位符号 "__emutls_get_address"，该符号被引用于 "/data/app/~~DMBfRqeqFvKzb9yUIkUZiQ==/com.hulk.aidb_demo-HrziaiyGs2adLTT-aQqemg==/lib/arm64/libopenvino_arm_cpu_plugin.so"...

库 "/system/lib64/libc++.so" ("/system/lib64/libc++.so") 需要或由 "/apex/com.android.art/lib64/libnativeloader.so" 打开，但该库对命名空间不可访问：[name="classloader-namespace", ld_library_paths="", default_library_paths="/data/app/~~IWBQrjWXHt7o71mstUGRHA==/com.hulk.aidb_demo-cfq3aSk8DN62UDtoKV4Vfg==/lib/arm64:/data/app/~~IWBQrjWXHt7o71mstUGRHA==/com.hulk.aidb_demo-cfq3aSk8DN62UDtoKV4Vfg==/base.apk!/lib/arm64-v8a", permitted_paths="/data:/mnt/expand:/data/data/com.hulk.aidb_demo"]

维护者

@TalkUHulk。

贡献方式

欢迎随时加入！打开一个 issue 或提交 PR。

AiDB 遵循 贡献者誓言 的行为准则。

贡献者

这个项目得以存在，离不开每一位贡献者。

许可证

MIT © Hulk Wang

ai.deploy.box 快速上手指南

ai.deploy.box (AiDB) 是一个基于 C++ 的深度学习模型部署工具箱。它抽象了主流推理框架（ONNXRuntime, MNN, NCNN, TNN, PaddleLite, OpenVINO）的统一接口，支持通过配置文件灵活切换后端，并提供多语言（C++, Python, Lua, Go）调用示例。

1. 环境准备

系统要求

• 支持平台: Linux, MacOS, Android, Raspberry Pi, WebAssembly
• 不支持: Win64 (开发中), iOS (暂无计划)
• 编译器: 支持 C++11 及以上标准的编译器 (GCC/Clang)

前置依赖

• Git LFS: 用于拉取包含大文件（模型/子模块）的代码库。
• CMake: 版本建议 3.10+
• Docker (推荐): 可避免繁琐的环境配置，直接使用预构建镜像。

2. 安装步骤

方案 A：使用 Docker（推荐）

最快捷的方式，无需手动安装依赖。

# 1. 拉取代码 (需确保已安装 git-lfs)
git lfs clone https://github.com/TalkUHulk/ai.deploy.box.git
cd ai.deploy.box.git

# 2. 构建 Docker 镜像
docker build -t aidb-dev .

# 3. 启动容器
docker run -it --name aidb-test aidb-dev

注：也可以直接拉取预构建镜像 docker pull mister5ive/ai.deploy.box

方案 B：源码编译

适用于需要定制裁剪或集成到现有项目的场景。

# 1. 拉取代码
git lfs clone https://github.com/TalkUHulk/ai.deploy.box.git
cd ai.deploy.box.git

# 2. 创建构建目录并进入
mkdir build && cd build

# 3. 配置 CMake
# 可根据需求开关特定引擎 (-DENGINE_XXX=ON/OFF) 或语言绑定 (-DBUILD_XXX=ON/OFF)
cmake .. \
  -DC_API=ON \
  -DBUILD_SAMPLE=ON \
  -DBUILD_PYTHON=ON \
  -DBUILD_LUA=OFF \
  -DENGINE_MNN=ON \
  -DENGINE_ORT=ON \
  -DENGINE_NCNN=ON \
  -DENGINE_TNN=OFF \
  -DENGINE_OPV=OFF \
  -DENGINE_PPLite=OFF

# 4. 编译 (使用 8 线程加速)
make -j8

常用编译选项说明：

• -DC_API=ON: 编译 C 接口库
• -DBUILD_PYTHON=ON: 编译 Python 绑定
• -DENGINE_NCNN=ON: 启用 NCNN 后端
• -DENGINE_ORT=ON: 启用 ONNXRuntime 后端
• -DOPENCV_HAS_FREETYPE=ON: 启用 OpenCV 的 FreeType 支持（用于显示中文）

3. 基本使用

获取模型

项目所需测试模型可通过以下方式获取：

• HuggingFace: TalkUHulk/AiDB (推荐)
• 百度网盘: 链接 (提取码: 92e8)
• MEGA: 链接

下载后请将模型文件放置在项目指定的 models 目录下。

运行示例 (C++)

编译完成后，可直接运行内置的 Sample 演示（以人脸检测为例）：

# 进入 build 目录
cd build

# 运行人脸检测示例 (假设已下载 SCRFD 模型)
# 格式：./sample_face_detect [image_path] [model_path] [backend_type]
./sample_face_detect ../images/test.jpg ../models/scrfd_10g.onnx 0

注：backend_type 对应不同的推理引擎索引，具体参考代码中的枚举定义。

运行示例 (Python)

如果编译时开启了 -DBUILD_PYTHON=ON，可直接在 Python 中调用：

import aidb

# 初始化推理器 (以 NCNN 为例)
# 参数：模型路径，后端类型，输入尺寸等
detector = aidb.AiDBDetector("models/scrfd_10g.ncnn.param", "models/scrfd_10g.ncnn.bin", backend="ncnn")

# 执行推理
image_path = "images/test.jpg"
results = detector.detect(image_path)

print(results)

更多 Demo 资源

项目提供了丰富的独立演示仓库，涵盖不同场景：

• PC 端 (Qt): aidb_qt_demo
• Android 端: aidb_android_demo
• Web 端 (Wasm): 在线体验
• 服务端 (Go/Python): 分别参考 aidb_go_demo 和 aidb_python_demo 仓库。