Adlik

Adlik [ædlik] 是一个用于深度学习模型的端到端优化框架。Adlik 的目标是在云端和嵌入式环境中加速深度学习推理过程。

借助 Adlik 框架，不同的深度学习模型可以以高性能、灵活且简便的方式部署到不同平台上。

1. 在云环境中，编译后的模型和 Adlik 推理引擎应被打包成 Docker 镜像，并作为容器部署。
2. 在边缘环境中，Adlik 推理引擎应以容器形式部署。编译后的模型需传输到边缘环境，Adlik 推理引擎会自动更新并加载该模型。
3. 在设备环境中，Adlik 推理引擎和编译后的模型应被编译为二进制文件（so 或 lib）。希望在设备上运行模型推理的用户，只需将自定义的 AI 函数与 Adlik 二进制文件链接到可执行文件中，即可直接运行。

Adlik 的推理性能

我们使用简单的 CNN 模型（MNIST 模型）、ResNet50 模型和 InceptionV3 模型，在相同的 CPU 或 GPU 上，结合不同的推理引擎，测试了 Adlik 的推理性能。Adlik 在不同模型上的测试数据如下：

• MNIST 模型的测试结果
• ResNet50 模型的测试结果
• InceptionV3 模型的测试结果
• YoloV3 模型的测试结果
• Bert 模型的测试结果
• PaddlePaddle 模型的测试结果

目录

模型优化器

模型优化器 专注于特定硬件，并在其上运行以实现加速。该框架主要包括两类算法组件：剪枝器和量化器。

模型编译器

模型编译器 支持多种优化技术，如剪枝、量化和结构化压缩，这些技术可以轻松应用于使用 TensorFlow、Keras、PyTorch 等开发的模型。

推理引擎

推理引擎 根据部署环境为深度学习模型提供优化的运行时。简单来说，基于一个深度学习模型，Adlik 用户可以通过模型编译器对其进行优化，然后利用 Adlik 推理平台将其部署到特定平台上。

开始使用

• 教程

• 示例

Docker 镜像

所有 Adlik 编译器镜像和推理镜像都存储在 阿里云 上。这些镜像可以直接下载使用，用户无需在 Ubuntu 上构建 Adlik。用户可以使用编译器镜像将 H5、CheckPoint、FrozenGraph、ONNX 和 SavedModel 格式的模型编译为 Openvino、TensorFlow、TensorFlow Lite 和 TensorRT 格式。同时，用户也可以使用推理镜像进行模型推理。

Docker 拉取命令：

docker pull docker_image_name:tag

编译器 Docker 镜像

编译器 Docker 镜像可用于 CPU 和 GPU 环境。在 CPU 环境下，您可以将源格式的模型编译为 TensorFlow 模型、OpenVino 模型和 TensorFlow Lite 模型。而在 GPU 环境下，则可以将源格式的模型编译为 TensorFlow 模型和 TensorRT 模型。编译器镜像的名称和标签如下所示，其中标签的前半部分表示 TensorRT 的版本，后半部分表示 CUDA 的版本：

registry.cn-beijing.aliyuncs.com/adlik/model-compiler:v1.0

使用模型编译器镜像编译模型

1. 运行镜像。

   docker run -it --rm -v source_model:/mnt/model
   registry.cn-beijing.aliyuncs.com/adlik/model-compiler:v1.0 bash
   

2. 配置编译模型所需的 JSON 文件或环境变量。

   config_schema.json 描述了 JSON 文件中的字段信息，示例可参考 compiler_json_example.json。关于环境变量字段的说明，请参阅 env_field.txt，示例可参考 compiler_env_example.txt。

   注意：检查点模型在编译时必须提供输入和输出操作符名称，而其他类型的模型则无需提供这些名称。

3. 编译模型。

   编译说明（JSON 文件模式）：

   python3 "-c" "import json; import model_compiler as compiler; file=open('/mnt/model/serving_model.json','r');
   request = json.load(file);compiler.compile_model(request); file.close()"
   

   编译说明（环境变量模式）：

   python3 "-c" "import model_compiler.compiler as compiler;compiler.compile_from_env()"
   

提供推理服务的 Docker 镜像

提供的推理服务 Docker 镜像包含 CPU 和 GPU 版本。OpenVINO 镜像的标签表示 OpenVINO 的版本号。对于 TensorRT 镜像，标签的前半部分表示 TensorRT 的版本号，后半部分表示 CUDA 的版本号。以下是各推理镜像的名称及标签：

CPU 版本：

• registry.cn-beijing.aliyuncs.com/adlik/serving-tflite-cpu:v1.0
• registry.cn-beijing.aliyuncs.com/adlik/serving-tensorflow-cpu:v1.0
• registry.cn-beijing.aliyuncs.com/adlik/serving-openvino:v1.0
• registry.cn-beijing.aliyuncs.com/adlik/serving-libtorch-cpu:v1.0

GPU 版本：

• registry.cn-beijing.aliyuncs.com/adlik/serving-tftrt-gpu:v1.0
• registry.cn-beijing.aliyuncs.com/adlik/serving-tensorrt:v1.0
• registry.cn-beijing.aliyuncs.com/adlik/serving-libtorch-gpu:v1.0

使用推理服务镜像进行模型推理

1. 运行镜像，并注意映射服务端口。

   docker run -it --rm -p 8500:8500 -v compiled_model:/model
   registry.cn-beijing.aliyuncs.com/adlik/serving-openvino:v1.0 bash
   

2. 在容器中加载编译好的模型并启动服务。

   adlik-serving --grpc_port=8500 --http_port=8501 --model_base_path=/model
   

3. 在本地安装客户端 wheel 包 adlik serving package 或 adlik serving gpu package， 执行推理代码并完成推理。

注意： 如果运行镜像时未映射服务端口，则需要在容器内安装 adlik serving package 或 adlik serving gpu package， 然后再执行推理代码并在容器中完成推理。

构建说明

本指南适用于在 Ubuntu 系统上构建 Adlik。

首先，安装 Git 和 Bazel。

然后，克隆 Adlik 仓库并将工作目录切换到源码目录：

git clone https://github.com/Adlik/Adlik.git
cd Adlik

构建客户端

1. 安装以下软件包：

   • python3-setuptools
   • python3-wheel

2. 构建客户端：

   bazel build //adlik_serving/clients/python:build_pip_package -c opt
   

3. 构建 pip 包：

   mkdir /tmp/pip-packages && bazel-bin/adlik_serving/clients/python/build_pip_package /tmp/pip-packages
   

构建推理服务

首先，安装以下软件包：

• automake
• libtbb2
• libtool
• make
• python3-six

使用 OpenVINO 运行时构建推理服务

1. 从 OpenVINO 安装 openvino-<VERSION> 软件包。

2. 假设 OpenVINO 的安装路径为 /opt/intel/openvino_VERSION，运行以下命令：

   export INTEL_CVSDK_DIR=/opt/intel/openvino_2022
   export InferenceEngine_DIR=$INTEL_CVSDK_DIR/runtime/cmake
   bazel build //adlik_serving \
       --config=openvino \
       -c opt
   

使用 TensorFlow CPU 运行时构建推理服务

1. 运行以下命令：

   bazel build //adlik_serving \
       --config=tensorflow-cpu \
       -c opt
   

使用 TensorFlow GPU 运行时构建推理服务

假设使用 CUDA 11.6 版本进行构建。

1. 从 这里 和 这里 安装以下软件包：

   • cuda-nvprune-11-6
   • cuda-nvtx-11-6
   • cuda-cupti-dev-11-6
   • libcublas-dev-11-6
   • libcudnn8=*+cuda11.6
   • libcudnn8-dev=*+cuda11.6
   • libcufft-dev-11-6
   • libcurand-dev-11-6
   • libcusolver-dev-11-6
   • libcusparse-dev-11-6
   • libnvinfer8=8.4.*+cuda11.6
   • libnvinfer-dev=8.4.*+cuda11.6
   • libnvinfer-plugin7=8.4.*+cuda11.6
   • libnvinfer-plugin-dev=8.4.*+cuda11.6

2. 运行以下命令：

   env TF_CUDA_VERSION=11.6 TF_NEED_TENSORRT=1 \
       bazel build //adlik_serving \
           --config=tensorflow-gpu \
           -c opt \
           --incompatible_use_specific_tool_files=false
   

使用 TensorFlow Lite CPU 运行时构建推理服务

1. 运行以下命令：

   bazel build //adlik_serving \
       --config=tensorflow-lite-cpu \
       -c opt
   

使用 TensorRT 运行时构建推理服务

假设使用 CUDA 11.0 版本进行构建。

1. 从 这里 和 这里 安装以下软件包：

   • cuda-cupti-dev-11-6
   • cuda-nvml-dev-11-6
   • cuda-nvrtc-11-6
   • libcublas-dev-11-6
   • libcudnn8=*+cuda11.6
   • libcudnn8-dev=*+cuda11.6
   • libcufft-dev-11-0
   • libcurand-dev-11-0
   • libcusolver-dev-11-6
   • libcusparse-dev-11-6
   • libnvinfer8=8.4.*+cuda11.6
   • libnvinfer-dev=8.4.*+cuda11.6
   • libnvonnxparsers8=8.4.*+cuda11.6
   • libnvonnxparsers-dev=8.4.*+cuda11.6

2. 运行以下命令：

   env TF_CUDA_VERSION=11.6 \
       bazel build //adlik_serving \
           --config=TensorRT \
           -c opt \
           --action_env=LIBRARY_PATH=/usr/local/cuda-11.0/lib64/stubs \
           --incompatible_use_specific_tool_files=false
   

使用 TF-TRT 运行时构建推理服务

假设使用 CUDA 11.0 版本进行构建。

1. 从 这里 和 这里 安装以下软件包：

   • cuda-cupti-dev-11-6
   • libcublas-dev-11-6
   • libcudnn8=*+cuda11.6
   • libcudnn8-dev=*+cuda11.6
   • libcufft-dev-11-6
   • libcurand-dev-11-6
   • libcusolver-dev-11-6
   • libcusparse-dev-11-6
   • libnvinfer8=8.4.*+cuda11.6
   • libnvinfer-dev=8.4.*+cuda11.6
   • libnvinfer-plugin8=8.4.*+cuda11.6
   • libnvinfer-plugin-dev=8.4.*+cuda11.6

2. 运行以下命令：

   env TF_CUDA_VERSION=11.6 TF_NEED_TENSORRT=1 \
       bazel build //adlik_serving \
           --config=tensorflow-tensorrt \
           -c opt \
           --incompatible_use_specific_tool_files=false
   

使用 TVM 运行时构建推理服务

1. 安装以下软件包：

   • build-essential
   • cmake
   • tvm

2. 运行以下命令：

   bazel build //adlik_serving \
      --config=tvm \
      -c opt
   

在 Docker 中构建

可以使用 ci/docker/build.sh 文件构建一个包含所有 Adlik 构建所需依赖的 Docker 镜像。然后可以使用该 Docker 镜像来构建 Adlik。

注意：如果在 Docker 镜像中使用 GPU 构建运行时，需要在 Dockerfile 中添加 CUDA 环境变量，例如：

ENV NVIDIA_VISIBLE_DEVICES all
ENV NVIDIA_DRIVER_CAPABILITIES compute, utility

发布版本

Adlik 支持的服务引擎版本如下：

	Enflame 2.0	TensorFlow 2.10.1	OpenVINO 2022.3.0	TensorRT 8.4.3.1	PaddlePaddle 2.4.0
Keras	✓	✓	✓	✓	✗
TensorFlow	✓	✓	✓	✓	✗
PyTorch	✓	✗	✓	✓	✗
PaddlePaddle	✓	✗	✓	✓	✓
OneFLow	✓	✓	✓	✓	✗
OpenVINO	✗	✗	✓	✗	✗

许可证

Apache License 2.0

Adlik 快速上手指南

Adlik 是一个端到端的深度学习模型优化框架，旨在加速云端和嵌入式环境下的模型推理过程。它支持模型压缩（剪枝、量化）、编译以及多平台（CPU/GPU/边缘设备）的高效部署。

1. 环境准备

系统要求

• 操作系统: Ubuntu (推荐用于源码构建)
• 硬件: 支持 CPU 或 NVIDIA GPU (需安装对应驱动)

前置依赖

若选择源码构建，需预先安装：

• Git
• Bazel
• Python 3 及相关包 (python3-setuptools, python3-wheel, automake, libtbb2, libtool, make, python3-six)

若使用 Docker 镜像（推荐），只需安装 Docker 即可，无需配置复杂的环境依赖。

---

2. 安装步骤

Adlik 提供了预构建的 Docker 镜像，托管在阿里云容器镜像服务，国内用户可直接拉取使用，无需自行编译。

方式一：使用 Docker 镜像（推荐）

2.1 拉取模型编译器镜像

用于将 TensorFlow, PyTorch, ONNX 等模型转换为优化格式（OpenVINO, TensorRT, TFLite 等）。

docker pull registry.cn-beijing.aliyuncs.com/adlik/model-compiler:v1.0

2.2 拉取推理服务镜像

根据硬件环境选择 CPU 或 GPU 镜像：

CPU 环境:

docker pull registry.cn-beijing.aliyuncs.com/adlik/serving-openvino:v1.0
# 或其他 CPU 镜像，如 serving-tensorflow-cpu:v1.0

GPU 环境:

docker pull registry.cn-beijing.aliyuncs.com/adlik/serving-tensorrt:v1.0
# 或其他 GPU 镜像，如 serving-tftrt-gpu:v1.0

方式二：源码构建 (仅限高级用户)

若需自定义构建，请克隆仓库并安装依赖：

git clone https://github.com/Adlik/Adlik.git
cd Adlik

构建客户端 Python 包：

bazel build //adlik_serving/clients/python:build_pip_package -c opt
mkdir /tmp/pip-packages && bazel-bin/adlik_serving/clients/python/build_pip_package /tmp/pip-packages

构建特定后端的 Serving 引擎（以 OpenVINO 为例）：

export INTEL_CVSDK_DIR=/opt/intel/openvino_2022
export InferenceEngine_DIR=$INTEL_CVSDK_DIR/runtime/cmake
bazel build //adlik_serving --config=openvino -c opt

---

3. 基本使用

以下流程演示如何使用 Docker 完成“模型编译”到“推理服务启动”的全过程。

步骤 1: 编译模型

将源模型（如 H5, SavedModel, ONNX）编译为优化后的格式。

1. 启动编译器容器并挂载模型目录：

   docker run -it --rm -v source_model:/mnt/model registry.cn-beijing.aliyuncs.com/adlik/model-compiler:v1.0 bash
   

2. 在容器内执行编译命令（以 JSON 配置模式为例）： 注：需提前准备好 serving_model.json 配置文件，参考官方示例。

   python3 "-c" "import json; import model_compiler as compiler; file=open('/mnt/model/serving_model.json','r'); request = json.load(file);compiler.compile_model(request); file.close()"
   

   编译完成后，优化后的模型将保存在挂载目录中。

步骤 2: 启动推理服务

使用编译好的模型启动 Adlik Serving 引擎。

1. 启动服务容器，映射端口并挂载编译后的模型：

   docker run -it --rm -p 8500:8500 -v compiled_model:/model registry.cn-beijing.aliyuncs.com/adlik/serving-openvino:v1.0 bash
   

2. 在容器内加载模型并启动服务：

   adlik-serving --grpc_port=8500 --http_port=8501 --model_base_path=/model
   

步骤 3: 执行推理

在本地或容器内安装客户端 SDK 并调用服务。

1. 安装客户端 Wheel 包：

   pip install https://github.com/Adlik/Adlik/releases/download/v0.3.0/adlik_serving_api-0.3.0-py2.py3-none-any.whl
   

2. 编写 Python 代码发起推理请求（示例逻辑）：

   from adlik_serving.client import Client
   
   client = Client("localhost:8500")
   # 构建输入数据并调用 predict 方法
   # response = client.predict(...)
   

提示: 若启动容器时未映射端口，需在容器内部安装上述 Wheel 包并在容器内直接执行推理代码。