[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-Adlik--Adlik":3,"tool-Adlik--Adlik":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",142651,2,"2026-04-06T23:34:12",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107888,"2026-04-06T11:32:50",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":64,"owner_name":72,"owner_avatar_url":73,"owner_bio":74,"owner_company":75,"owner_location":75,"owner_email":76,"owner_twitter":75,"owner_website":77,"owner_url":78,"languages":79,"stars":108,"forks":109,"last_commit_at":110,"license":111,"difficulty_score":95,"env_os":112,"env_gpu":113,"env_ram":114,"env_deps":115,"category_tags":129,"github_topics":130,"view_count":32,"oss_zip_url":75,"oss_zip_packed_at":75,"status":17,"created_at":140,"updated_at":141,"faqs":142,"releases":143},4799,"Adlik\u002FAdlik","Adlik","Adlik: Toolkit for Accelerating Deep Learning Inference","Adlik 是一个专为加速深度学习推理而打造的全流程优化框架，旨在让模型在云端、边缘端及嵌入式设备上都能高效运行。它主要解决了深度学习模型在实际部署中面临的性能瓶颈和环境适配难题，帮助开发者轻松将训练好的模型转化为高性能的生产应用。\n\n无论是需要高并发处理的云服务，还是资源受限的边缘设备，Adlik 都能提供灵活的部署方案：在云端支持容器化部署，在边缘端实现模型自动更新与加载，而在终端设备上则可直接编译为二进制文件嵌入应用。其核心技术亮点在于集成了模型优化器与编译器，支持剪枝、量化及结构压缩等先进算法，兼容 TensorFlow、PyTorch、Keras 等多种主流框架开发的模型。\n\n这款工具非常适合人工智能开发者、算法工程师及研究人员使用。如果你正致力于将实验阶段的模型落地到真实场景，或希望在不更换硬件的前提下显著提升推理速度，Adlik 将是一个实用且强大的助手，助你以更低的成本实现更流畅的智能体验。","# Adlik\n\n[![Build Status](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAdlik_Adlik_readme_3323fe13e747.png)](https:\u002F\u002Fdev.azure.com\u002FAdlik\u002FGitHub\u002F_build\u002Flatest?definitionId=1&branchName=master)\n[![Tests](https:\u002F\u002Fimg.shields.io\u002Fazure-devops\u002Ftests\u002FAdlik\u002FGitHub\u002F1\u002Fmaster)](https:\u002F\u002Fdev.azure.com\u002FAdlik\u002FGitHub\u002F_build\u002Flatest?definitionId=1&branchName=master)\n[![Coverage](https:\u002F\u002Fimg.shields.io\u002Fazure-devops\u002Fcoverage\u002FAdlik\u002FGitHub\u002F1\u002Fmaster)](https:\u002F\u002Fdev.azure.com\u002FAdlik\u002FGitHub\u002F_build\u002Flatest?definitionId=1&branchName=master)\n[![Bors enabled](https:\u002F\u002Fbors.tech\u002Fimages\u002Fbadge_small.svg)](https:\u002F\u002Fapp.bors.tech\u002Frepositories\u002F20625)\n[![CII Best Practices](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAdlik_Adlik_readme_50ccde67b228.png)](https:\u002F\u002Fbestpractices.coreinfrastructure.org\u002Fprojects\u002F4513)\n\n***Adlik*** [ædlik] is an end-to-end optimizing framework for deep learning models. The goal of Adlik is to accelerate deep\nlearning inference process both on cloud and embedded environment.\n\n![Adlik schematic diagram](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAdlik_Adlik_readme_825385686434.png)\n\nWith Adlik framework, different deep learning models can be deployed to different platforms with high performance in a\nmuch flexible and easy way.\n\n![Using Adlik to Deploy Models in Cloud\u002FEdge\u002FDevice](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAdlik_Adlik_readme_e8a7af0d14ae.png)\n\n1. In cloud environment, the compiled model and Adlik Inference Engine should be built as a docker image, and deployed\nas a container.\n\n2. In edge environment, Adlik Inference Engine should be deployed as a container. The compiled model should be transferred\nto edge environment, and the Adlik Inference Engine should automatically update and load model.\n\n3. In device environment, Adlik Inference Engine and the compiled model should be compiled into a binary file (***so***\nor ***lib***). Users who want to run model inference on device should link user defined AI function and Adlik binary\nfile to the execution file, and run directly.\n\n## [Inference performance of Adlik](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Ftree\u002Fmaster\u002Fbenchmark#inference-performance-of-adlik)\n\nWe test the inference performance of Adlik on the same CPU or GPU using the simple CNN model (MNIST model),\nthe ResNet50 model, and InceptionV3 with different serving engines. The test performance data of Adlik\non different models are as follows:\n\n- [The test result of the MNIST model](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Ftree\u002Fmaster\u002Fbenchmark#the-test-result-of-the-mnist-model)\n- [The test result of the ResNet50 model](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Ftree\u002Fmaster\u002Fbenchmark#the-test-result-of-the-resnet50-model)\n- [The test result of the InceptionV3 model](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Ftree\u002Fmaster\u002Fbenchmark#the-test-result-of-the-inceptionv3-model)\n- [The test result of the YoloV3 model](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Ftree\u002Fmaster\u002Fbenchmark#the-test-result-of-the-YoloV3-model)\n- [The test result of the Bert model](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Ftree\u002Fmaster\u002Fbenchmark#the-test-result-of-the-Bert-model)\n- [The test result of PaddlePaddle model](benchmark\u002FPADDLE_RESULT.md)\n\n## Contents\n\n### [Model Optimizer](https:\u002F\u002Fgithub.com\u002FAdlik\u002Fmodel_optimizer\u002Fblob\u002Fmaster\u002FREADME.md)\n\n***Model optimizer*** focuses on specific hardware and runs on it to achieve acceleration.  The proposed\nframework mainly consists of two categories of algorithm components, i.e. pruner and quantizer.\n\n### [Model Compiler](model_compiler\u002FREADME.md)\n\n***Model compiler*** supports several optimizing technologies like pruning, quantization and structural compression,\nwhich can be easily used for models developed with TensorFlow, Keras, PyTorch, etc.\n\n### [Serving Engine](adlik_serving\u002FREADME.md)\n\n***Serving Engine*** provides deep learning models with optimized runtime based on the deployment environment. Put\nsimply, based on a deep learning model, the users of Adlik can optimize it with model compiler and then deploy it to a\ncertain platform with Adlik serving platform.\n\n## Getting Started\n\n- [Tutorials](TUTORIALS.md)\n\n- [Samples](examples)\n\n## Docker images\n\nAll Adlik compiler images and serving images are stored in [Alibaba Cloud](https:\u002F\u002Ffree.aliyun.com\u002F). These images can\nbe downloaded and used directly, users do not need to build the Adlik on [Ubuntu](https:\u002F\u002Fubuntu.com). Users can use\nthe compiler images to compile model from H5, CheckPoint, FrozenGraph, ONNX and SavedModel to Openvino, TensorFlow,\nTensorFlow Lite, TensorRT. Users also can use the serving images for model inference.\n\nDocker pull command:\n\n   ```shell script\n   docker pull docker_image_name:tag\n   ```\n\n### Compiler docker images\n\nThe compiler docker images can be used in CPU and GPU. In the CPU, you can  compile the model from source type to TensorFlow\nmodel, OpenVino model and TensorFlow Lite model. And in the CPU, you can compile the model from source type to TensorFlow\nmodel, and TensorRT model. The name and label of compiler mirror are shown below, and the first half of label\nrepresents the version of TensorRT, the latter part of label represents the version of CUDA:\n\nregistry.cn-beijing.aliyuncs.com\u002Fadlik\u002Fmodel-compiler:v1.0\n\n#### Using model compiler image compile model\n\n1. Run the image.\n\n   ```shell script\n   docker run -it --rm -v source_model:\u002Fmnt\u002Fmodel\n   registry.cn-beijing.aliyuncs.com\u002Fadlik\u002Fmodel-compiler:v1.0 bash\n   ```\n\n2. Configure the json file or environment variables required to compile the model.\n\n   The [config_schema.json](model_compiler\u002Fconfig_schema.json) describle the json file field information,\n   and for the example, you can reference [compiler_json_example.json](docker-images\u002Fcompiler_json_example.json).\n   For the environment variable field description, see [env_field.txt](docker-images\u002Fenv_field.txt), for the example,\n   reference [compiler_env_example.txt](docker-images\u002Fcompiler_env_example.txt).\n\n   Note: The checkpoint model must be given the input and output op names of the model when compiling, and other models\n   can be compiled without the input and output op names of the model.\n\n3. Compile the model.\n\n   Compilation instructions (json file mode):\n\n   ```shell script\n   python3 \"-c\" \"import json; import model_compiler as compiler; file=open('\u002Fmnt\u002Fmodel\u002Fserving_model.json','r');\n   request = json.load(file);compiler.compile_model(request); file.close()\"\n   ```\n\n   Compilation instructions (environment variable mode):\n\n   ```shell script\n   python3 \"-c\" \"import model_compiler.compiler as compiler;compiler.compile_from_env()\"\n   ```\n\n### Serving docker images\n\nThe serving docker images contains CPU and GPU mirrors. The label of openvino image represents the version of OpenVINO.\nAnd for the TensorRT image the first half of label represents the version of TensorRT, the latter part of label\nrepresents the version of CUDA. The names and labels of serving mirrors are as follows:\n\nCPU:\n\nregistry.cn-beijing.aliyuncs.com\u002Fadlik\u002Fserving-tflite-cpu:v1.0\n\nregistry.cn-beijing.aliyuncs.com\u002Fadlik\u002Fserving-tensorflow-cpu:v1.0\n\nregistry.cn-beijing.aliyuncs.com\u002Fadlik\u002Fserving-openvino:v1.0\n\nregistry.cn-beijing.aliyuncs.com\u002Fadlik\u002Fserving-libtorch-cpu:v1.0\n\nGPU:\n\nregistry.cn-beijing.aliyuncs.com\u002Fadlik\u002Fserving-tftrt-gpu:v1.0\n\nregistry.cn-beijing.aliyuncs.com\u002Fadlik\u002Fserving-tensorrt:v1.0\n\nregistry.cn-beijing.aliyuncs.com\u002Fadlik\u002Fserving-libtorch-gpu:v1.0\n\n### Using the serving images for model inference\n\n1. Run the mirror and pay attention to mapping out the service port.\n\n   ```shell script\n   docker run -it --rm -p 8500:8500 -v compiled_model:\u002Fmodel\n   registry.cn-beijing.aliyuncs.com\u002Fadlik\u002Fserving-openvino:v1.0 bash\n   ```\n\n2. Load the compiled model in the image and start the service.\n\n   ```shell script\n   adlik-serving --grpc_port=8500 --http_port=8501 --model_base_path=\u002Fmodel\n   ```\n\n3. Install the client wheel package [adlik serving package](\n   \u003Chttps:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Freleases\u002Fdownload\u002Fv0.3.0\u002Fadlik_serving_api-0.3.0-py2.py3-none-any.whl>) or [adlik\n   serving gpu package](\n      \u003Chttps:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Freleases\u002Fdownload\u002Fv0.3.0\u002Fadlik_serving_api_gpu-0.3.0-py2.py3-none-any.whl>) locally,\n      execute the inference code, and perform inference.\n\nNote: If the service port is not mapped when you run the mirror, you need install the [adlik serving package](\n   \u003Chttps:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Freleases\u002Fdownload\u002Fv0.3.0\u002Fadlik_serving_api-0.3.0-py2.py3-none-any.whl>) or [adlik\n   serving gpu package](\n      \u003Chttps:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Freleases\u002Fdownload\u002Fv0.3.0\u002Fadlik_serving_api_gpu-0.3.0-py2.py3-none-any.whl>) in the\n      container. Then execute the inference code, and perform inference in the container.\n\n## Build\n\nThis guide is for building Adlik on [Ubuntu](https:\u002F\u002Fubuntu.com) systems.\n\nFirst, install [Git](https:\u002F\u002Fgit-scm.com\u002Fdownload) and [Bazel](https:\u002F\u002Fdocs.bazel.build\u002Finstall.html).\n\nThen, clone Adlik and change the working directory into the source directory:\n\n   ```sh\n   git clone https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik.git\n   cd Adlik\n   ```\n\n### Build clients\n\n1. Install the following packages:\n   - `python3-setuptools`\n   - `python3-wheel`\n2. Build clients:\n\n   ```sh\n   bazel build \u002F\u002Fadlik_serving\u002Fclients\u002Fpython:build_pip_package -c opt\n   ```\n\n3. Build pip package:\n\n   ```sh\n   mkdir \u002Ftmp\u002Fpip-packages && bazel-bin\u002Fadlik_serving\u002Fclients\u002Fpython\u002Fbuild_pip_package \u002Ftmp\u002Fpip-packages\n   ```\n\n### Build serving\n\nFirst, install the following packages:\n\n- `automake`\n- `libtbb2`\n- `libtool`\n- `make`\n- `python3-six`\n\n#### Build serving with OpenVINO runtime\n\n1. Install `openvino-\u003CVERSION>` package from\n   [OpenVINO](https:\u002F\u002Fdocs.openvinotoolkit.org\u002F2022.3\u002Fopenvino_docs_install_guides_installing_openvino_apt.html).\n2. Assume the installation path of OpenVINO is `\u002Fopt\u002Fintel\u002Fopenvino_VERSION`, run the following command:\n\n   ```sh\n   export INTEL_CVSDK_DIR=\u002Fopt\u002Fintel\u002Fopenvino_2022\n   export InferenceEngine_DIR=$INTEL_CVSDK_DIR\u002Fruntime\u002Fcmake\n   bazel build \u002F\u002Fadlik_serving \\\n       --config=openvino \\\n       -c opt\n   ```\n\n#### Build serving with TensorFlow CPU runtime\n\n1. Run the following command:\n\n   ```sh\n   bazel build \u002F\u002Fadlik_serving \\\n       --config=tensorflow-cpu \\\n       -c opt\n   ```\n\n#### Build serving with TensorFlow GPU runtime\n\nAssume building with CUDA version 11.6.\n\n1. Install the following packages from\n   [here](https:\u002F\u002Fdocs.nvidia.com\u002Fcuda\u002Fcuda-installation-guide-linux\u002Findex.html#ubuntu-installation) and\n   [here](https:\u002F\u002Fdocs.nvidia.com\u002Fdeeplearning\u002Fsdk\u002Fcudnn-install\u002Findex.html#ubuntu-network-installation):\n\n   - `cuda-nvprune-11-6`\n   - `cuda-nvtx-11-6`\n   - `cuda-cupti-dev-11-6`\n   - `libcublas-dev-11-6`\n   - `libcudnn8=*+cuda11.6`\n   - `libcudnn8-dev=*+cuda11.6`\n   - `libcufft-dev-11-6`\n   - `libcurand-dev-11-6`\n   - `libcusolver-dev-11-6`\n   - `libcusparse-dev-11-6`\n   - `libnvinfer8=8.4.*+cuda11.6`\n   - `libnvinfer-dev=8.4.*+cuda11.6`\n   - `libnvinfer-plugin7=8.4.*+cuda11.6`\n   - `libnvinfer-plugin-dev=8.4.*+cuda11.6`\n\n2. Run the following command:\n\n   ```sh\n   env TF_CUDA_VERSION=11.6 TF_NEED_TENSORRT=1 \\\n       bazel build \u002F\u002Fadlik_serving \\\n           --config=tensorflow-gpu \\\n           -c opt \\\n           --incompatible_use_specific_tool_files=false\n   ```\n\n#### Build serving with TensorFlow Lite CPU runtime\n\n1. Run the following command:\n\n   ```sh\n   bazel build \u002F\u002Fadlik_serving \\\n       --config=tensorflow-lite-cpu \\\n       -c opt\n   ```\n\n#### Build serving with TensorRT runtime\n\nAssume building with CUDA version 11.0.\n\n1. Install the following packages from\n   [here](https:\u002F\u002Fdocs.nvidia.com\u002Fcuda\u002Fcuda-installation-guide-linux\u002Findex.html#ubuntu-installation) and\n   [here](https:\u002F\u002Fdocs.nvidia.com\u002Fdeeplearning\u002Fsdk\u002Fcudnn-install\u002Findex.html#ubuntu-network-installation):\n\n   - `cuda-cupti-dev-11-6`\n   - `cuda-nvml-dev-11-6`\n   - `cuda-nvrtc-11-6`\n   - `libcublas-dev-11-6`\n   - `libcudnn8=*+cuda11.6`\n   - `libcudnn8-dev=*+cuda11.6`\n   - `libcufft-dev-11-0`\n   - `libcurand-dev-11-0`\n   - `libcusolver-dev-11-6`\n   - `libcusparse-dev-11-6`\n   - `libnvinfer8=8.4.*+cuda11.6`\n   - `libnvinfer-dev=8.4.*+cuda11.6`\n   - `libnvonnxparsers8=8.4.*+cuda11.6`\n   - `libnvonnxparsers-dev=8.4.*+cuda11.6`\n2. Run the following command:\n\n   ```sh\n   env TF_CUDA_VERSION=11.6 \\\n       bazel build \u002F\u002Fadlik_serving \\\n           --config=TensorRT \\\n           -c opt \\\n           --action_env=LIBRARY_PATH=\u002Fusr\u002Flocal\u002Fcuda-11.0\u002Flib64\u002Fstubs \\\n           --incompatible_use_specific_tool_files=false\n   ```\n\n#### Build serving with TF-TRT runtime\n\nAssume building with CUDA version 11.0.\n\n1. Install the following packages from\n   [here](https:\u002F\u002Fdocs.nvidia.com\u002Fcuda\u002Fcuda-installation-guide-linux\u002Findex.html#ubuntu-installation) and\n   [here](https:\u002F\u002Fdocs.nvidia.com\u002Fdeeplearning\u002Fsdk\u002Fcudnn-install\u002Findex.html#ubuntu-network-installation):\n\n   - `cuda-cupti-dev-11-6`\n   - `libcublas-dev-11-6`\n   - `libcudnn8=*+cuda11.6`\n   - `libcudnn8-dev=*+cuda11.6`\n   - `libcufft-dev-11-6`\n   - `libcurand-dev-11-6`\n   - `libcusolver-dev-11-6`\n   - `libcusparse-dev-11-6`\n   - `libnvinfer8=8.4.*+cuda11.6`\n   - `libnvinfer-dev=8.4.*+cuda11.6`\n   - `libnvinfer-plugin8=8.4.*+cuda11.6`\n   - `libnvinfer-plugin-dev=8.4.*+cuda11.6`\n\n2. Run the following command:\n\n   ```sh\n   env TF_CUDA_VERSION=11.6 TF_NEED_TENSORRT=1 \\\n       bazel build \u002F\u002Fadlik_serving \\\n           --config=tensorflow-tensorrt \\\n           -c opt \\\n           --incompatible_use_specific_tool_files=false\n   ```\n\n#### Build serving with Tvm runtime\n\n1. Install the following packages:\n\n   - `build-essential`\n   - `cmake`\n   - `tvm`\n\n2. Run the following command:\n\n   ```sh\n   bazel build \u002F\u002Fadlik_serving \\\n      --config=tvm \\\n      -c opt\n   ```\n\n### Build in Docker\n\nThe `ci\u002Fdocker\u002Fbuild.sh` file can be used to build a Docker images that contains all the requirements for building\nAdlik. You can build Adlik with the Docker image.\n\n> Note: If you build the runtime with GPU in a Docker image, you need to add the CUDA environment variables in the\n> Dockerfile, such as:\n>\n> ```dockerfile\n> ENV NVIDIA_VISIBLE_DEVICES all\n> ENV NVIDIA_DRIVER_CAPABILITIES compute, utility\n> ```\n\n### Release\n\nThe version of the service engine Adlik supports.\n\n|              | Enflame 2.0 | TensorFlow 2.10.1 | OpenVINO 2022.3.0 | TensorRT 8.4.3.1 | PaddlePaddle 2.4.0 |\n| ------------ | :---------: | :---------------: | :---------------: | :--------------: | :----------------: |\n| Keras        |       ✓     |        ✓          |        ✓          |       ✓          |          ✗         |\n| TensorFlow   |       ✓     |        ✓          |        ✓          |       ✓          |          ✗         |\n| PyTorch      |       ✓     |        ✗          |        ✓          |       ✓          |          ✗         |\n| PaddlePaddle |       ✓     |        ✗          |        ✓          |       ✓          |          ✓         |\n| OneFLow      |       ✓     |        ✓          |        ✓          |       ✓          |          ✗         |\n| OpenVINO     |       ✗     |        ✗          |        ✓          |       ✗          |          ✗         |\n\n## License\n\nApache License 2.0\n","# Adlik\n\n[![构建状态](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAdlik_Adlik_readme_3323fe13e747.png)](https:\u002F\u002Fdev.azure.com\u002FAdlik\u002FGitHub\u002F_build\u002Flatest?definitionId=1&branchName=master)\n[![测试](https:\u002F\u002Fimg.shields.io\u002Fazure-devops\u002Ftests\u002FAdlik\u002FGitHub\u002F1\u002Fmaster)](https:\u002F\u002Fdev.azure.com\u002FAdlik\u002FGitHub\u002F_build\u002Flatest?definitionId=1&branchName=master)\n[![覆盖率](https:\u002F\u002Fimg.shields.io\u002Fazure-devops\u002Fcoverage\u002FAdlik\u002FGitHub\u002F1\u002Fmaster)](https:\u002F\u002Fdev.azure.com\u002FAdlik\u002FGitHub\u002F_build\u002Flatest?definitionId=1&branchName=master)\n[![Bors 已启用](https:\u002F\u002Fbors.tech\u002Fimages\u002Fbadge_small.svg)](https:\u002F\u002Fapp.bors.tech\u002Frepositories\u002F20625)\n[![CII 最佳实践](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAdlik_Adlik_readme_50ccde67b228.png)](https:\u002F\u002Fbestpractices.coreinfrastructure.org\u002Fprojects\u002F4513)\n\n***Adlik*** [ædlik] 是一个用于深度学习模型的端到端优化框架。Adlik 的目标是在云端和嵌入式环境中加速深度学习推理过程。\n\n![Adlik 示意图](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAdlik_Adlik_readme_825385686434.png)\n\n借助 Adlik 框架，不同的深度学习模型可以以高性能、灵活且简便的方式部署到不同平台上。\n\n![使用 Adlik 在云\u002F边缘\u002F设备上部署模型](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAdlik_Adlik_readme_e8a7af0d14ae.png)\n\n1. 在云环境中，编译后的模型和 Adlik 推理引擎应被打包成 Docker 镜像，并作为容器部署。\n2. 在边缘环境中，Adlik 推理引擎应以容器形式部署。编译后的模型需传输到边缘环境，Adlik 推理引擎会自动更新并加载该模型。\n3. 在设备环境中，Adlik 推理引擎和编译后的模型应被编译为二进制文件（***so*** 或 ***lib***）。希望在设备上运行模型推理的用户，只需将自定义的 AI 函数与 Adlik 二进制文件链接到可执行文件中，即可直接运行。\n\n## [Adlik 的推理性能](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Ftree\u002Fmaster\u002Fbenchmark#inference-performance-of-adlik)\n\n我们使用简单的 CNN 模型（MNIST 模型）、ResNet50 模型和 InceptionV3 模型，在相同的 CPU 或 GPU 上，结合不同的推理引擎，测试了 Adlik 的推理性能。Adlik 在不同模型上的测试数据如下：\n\n- [MNIST 模型的测试结果](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Ftree\u002Fmaster\u002Fbenchmark#the-test-result-of-the-mnist-model)\n- [ResNet50 模型的测试结果](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Ftree\u002Fmaster\u002Fbenchmark#the-test-result-of-the-resnet50-model)\n- [InceptionV3 模型的测试结果](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Ftree\u002Fmaster\u002Fbenchmark#the-test-result-of-the-inceptionv3-model)\n- [YoloV3 模型的测试结果](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Ftree\u002Fmaster\u002Fbenchmark#the-test-result-of-the-YoloV3-model)\n- [Bert 模型的测试结果](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Ftree\u002Fmaster\u002Fbenchmark#the-test-result-of-the-Bert-model)\n- [PaddlePaddle 模型的测试结果](benchmark\u002FPADDLE_RESULT.md)\n\n## 目录\n\n### [模型优化器](https:\u002F\u002Fgithub.com\u002FAdlik\u002Fmodel_optimizer\u002Fblob\u002Fmaster\u002FREADME.md)\n\n***模型优化器*** 专注于特定硬件，并在其上运行以实现加速。该框架主要包括两类算法组件：剪枝器和量化器。\n\n### [模型编译器](model_compiler\u002FREADME.md)\n\n***模型编译器*** 支持多种优化技术，如剪枝、量化和结构化压缩，这些技术可以轻松应用于使用 TensorFlow、Keras、PyTorch 等开发的模型。\n\n### [推理引擎](adlik_serving\u002FREADME.md)\n\n***推理引擎*** 根据部署环境为深度学习模型提供优化的运行时。简单来说，基于一个深度学习模型，Adlik 用户可以通过模型编译器对其进行优化，然后利用 Adlik 推理平台将其部署到特定平台上。\n\n## 开始使用\n\n- [教程](TUTORIALS.md)\n\n- [示例](examples)\n\n## Docker 镜像\n\n所有 Adlik 编译器镜像和推理镜像都存储在 [阿里云](https:\u002F\u002Ffree.aliyun.com\u002F) 上。这些镜像可以直接下载使用，用户无需在 [Ubuntu](https:\u002F\u002Fubuntu.com) 上构建 Adlik。用户可以使用编译器镜像将 H5、CheckPoint、FrozenGraph、ONNX 和 SavedModel 格式的模型编译为 Openvino、TensorFlow、TensorFlow Lite 和 TensorRT 格式。同时，用户也可以使用推理镜像进行模型推理。\n\nDocker 拉取命令：\n\n   ```shell script\n   docker pull docker_image_name:tag\n   ```\n\n### 编译器 Docker 镜像\n\n编译器 Docker 镜像可用于 CPU 和 GPU 环境。在 CPU 环境下，您可以将源格式的模型编译为 TensorFlow 模型、OpenVino 模型和 TensorFlow Lite 模型。而在 GPU 环境下，则可以将源格式的模型编译为 TensorFlow 模型和 TensorRT 模型。编译器镜像的名称和标签如下所示，其中标签的前半部分表示 TensorRT 的版本，后半部分表示 CUDA 的版本：\n\nregistry.cn-beijing.aliyuncs.com\u002Fadlik\u002Fmodel-compiler:v1.0\n\n#### 使用模型编译器镜像编译模型\n\n1. 运行镜像。\n\n   ```shell script\n   docker run -it --rm -v source_model:\u002Fmnt\u002Fmodel\n   registry.cn-beijing.aliyuncs.com\u002Fadlik\u002Fmodel-compiler:v1.0 bash\n   ```\n\n2. 配置编译模型所需的 JSON 文件或环境变量。\n\n   [config_schema.json](model_compiler\u002Fconfig_schema.json) 描述了 JSON 文件中的字段信息，示例可参考 [compiler_json_example.json](docker-images\u002Fcompiler_json_example.json)。关于环境变量字段的说明，请参阅 [env_field.txt](docker-images\u002Fenv_field.txt)，示例可参考 [compiler_env_example.txt](docker-images\u002Fcompiler_env_example.txt)。\n\n   注意：检查点模型在编译时必须提供输入和输出操作符名称，而其他类型的模型则无需提供这些名称。\n\n3. 编译模型。\n\n   编译说明（JSON 文件模式）：\n\n   ```shell script\n   python3 \"-c\" \"import json; import model_compiler as compiler; file=open('\u002Fmnt\u002Fmodel\u002Fserving_model.json','r');\n   request = json.load(file);compiler.compile_model(request); file.close()\"\n   ```\n\n   编译说明（环境变量模式）：\n\n   ```shell script\n   python3 \"-c\" \"import model_compiler.compiler as compiler;compiler.compile_from_env()\"\n   ```\n\n### 提供推理服务的 Docker 镜像\n\n提供的推理服务 Docker 镜像包含 CPU 和 GPU 版本。OpenVINO 镜像的标签表示 OpenVINO 的版本号。对于 TensorRT 镜像，标签的前半部分表示 TensorRT 的版本号，后半部分表示 CUDA 的版本号。以下是各推理镜像的名称及标签：\n\n**CPU 版本：**\n\n- registry.cn-beijing.aliyuncs.com\u002Fadlik\u002Fserving-tflite-cpu:v1.0\n- registry.cn-beijing.aliyuncs.com\u002Fadlik\u002Fserving-tensorflow-cpu:v1.0\n- registry.cn-beijing.aliyuncs.com\u002Fadlik\u002Fserving-openvino:v1.0\n- registry.cn-beijing.aliyuncs.com\u002Fadlik\u002Fserving-libtorch-cpu:v1.0\n\n**GPU 版本：**\n\n- registry.cn-beijing.aliyuncs.com\u002Fadlik\u002Fserving-tftrt-gpu:v1.0\n- registry.cn-beijing.aliyuncs.com\u002Fadlik\u002Fserving-tensorrt:v1.0\n- registry.cn-beijing.aliyuncs.com\u002Fadlik\u002Fserving-libtorch-gpu:v1.0\n\n### 使用推理服务镜像进行模型推理\n\n1. 运行镜像，并注意映射服务端口。\n\n   ```shell script\n   docker run -it --rm -p 8500:8500 -v compiled_model:\u002Fmodel\n   registry.cn-beijing.aliyuncs.com\u002Fadlik\u002Fserving-openvino:v1.0 bash\n   ```\n\n2. 在容器中加载编译好的模型并启动服务。\n\n   ```shell script\n   adlik-serving --grpc_port=8500 --http_port=8501 --model_base_path=\u002Fmodel\n   ```\n\n3. 在本地安装客户端 wheel 包 [adlik serving package](\n   \u003Chttps:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Freleases\u002Fdownload\u002Fv0.3.0\u002Fadlik_serving_api-0.3.0-py2.py3-none-any.whl>) 或 [adlik\n   serving gpu package](\n      \u003Chttps:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Freleases\u002Fdownload\u002Fv0.3.0\u002Fadlik_serving_api_gpu-0.3.0-py2.py3-none-any.whl>)，\n      执行推理代码并完成推理。\n\n**注意：** 如果运行镜像时未映射服务端口，则需要在容器内安装 [adlik serving package](\n   \u003Chttps:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Freleases\u002Fdownload\u002Fv0.3.0\u002Fadlik_serving_api-0.3.0-py2.py3-none-any.whl>) 或 [adlik\n   serving gpu package](\n      \u003Chttps:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Freleases\u002Fdownload\u002Fv0.3.0\u002Fadlik_serving_api_gpu-0.3.0-py2.py3-none-any.whl>)，\n      然后再执行推理代码并在容器中完成推理。\n\n## 构建说明\n\n本指南适用于在 [Ubuntu](https:\u002F\u002Fubuntu.com) 系统上构建 Adlik。\n\n首先，安装 [Git](https:\u002F\u002Fgit-scm.com\u002Fdownload) 和 [Bazel](https:\u002F\u002Fdocs.bazel.build\u002Finstall.html)。\n\n然后，克隆 Adlik 仓库并将工作目录切换到源码目录：\n\n   ```sh\n   git clone https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik.git\n   cd Adlik\n   ```\n\n### 构建客户端\n\n1. 安装以下软件包：\n   - `python3-setuptools`\n   - `python3-wheel`\n2. 构建客户端：\n\n   ```sh\n   bazel build \u002F\u002Fadlik_serving\u002Fclients\u002Fpython:build_pip_package -c opt\n   ```\n\n3. 构建 pip 包：\n\n   ```sh\n   mkdir \u002Ftmp\u002Fpip-packages && bazel-bin\u002Fadlik_serving\u002Fclients\u002Fpython\u002Fbuild_pip_package \u002Ftmp\u002Fpip-packages\n   ```\n\n### 构建推理服务\n\n首先，安装以下软件包：\n\n- `automake`\n- `libtbb2`\n- `libtool`\n- `make`\n- `python3-six`\n\n#### 使用 OpenVINO 运行时构建推理服务\n\n1. 从 [OpenVINO](https:\u002F\u002Fdocs.openvinotoolkit.org\u002F2022.3\u002Fopenvino_docs_install_guides_installing_openvino_apt.html) 安装 `openvino-\u003CVERSION>` 软件包。\n2. 假设 OpenVINO 的安装路径为 `\u002Fopt\u002Fintel\u002Fopenvino_VERSION`，运行以下命令：\n\n   ```sh\n   export INTEL_CVSDK_DIR=\u002Fopt\u002Fintel\u002Fopenvino_2022\n   export InferenceEngine_DIR=$INTEL_CVSDK_DIR\u002Fruntime\u002Fcmake\n   bazel build \u002F\u002Fadlik_serving \\\n       --config=openvino \\\n       -c opt\n   ```\n\n#### 使用 TensorFlow CPU 运行时构建推理服务\n\n1. 运行以下命令：\n\n   ```sh\n   bazel build \u002F\u002Fadlik_serving \\\n       --config=tensorflow-cpu \\\n       -c opt\n   ```\n\n#### 使用 TensorFlow GPU 运行时构建推理服务\n\n假设使用 CUDA 11.6 版本进行构建。\n\n1. 从 [这里](https:\u002F\u002Fdocs.nvidia.com\u002Fcuda\u002Fcuda-installation-guide-linux\u002Findex.html#ubuntu-installation) 和 [这里](https:\u002F\u002Fdocs.nvidia.com\u002Fdeeplearning\u002Fsdk\u002Fcudnn-install\u002Findex.html#ubuntu-network-installation) 安装以下软件包：\n\n   - `cuda-nvprune-11-6`\n   - `cuda-nvtx-11-6`\n   - `cuda-cupti-dev-11-6`\n   - `libcublas-dev-11-6`\n   - `libcudnn8=*+cuda11.6`\n   - `libcudnn8-dev=*+cuda11.6`\n   - `libcufft-dev-11-6`\n   - `libcurand-dev-11-6`\n   - `libcusolver-dev-11-6`\n   - `libcusparse-dev-11-6`\n   - `libnvinfer8=8.4.*+cuda11.6`\n   - `libnvinfer-dev=8.4.*+cuda11.6`\n   - `libnvinfer-plugin7=8.4.*+cuda11.6`\n   - `libnvinfer-plugin-dev=8.4.*+cuda11.6`\n\n2. 运行以下命令：\n\n   ```sh\n   env TF_CUDA_VERSION=11.6 TF_NEED_TENSORRT=1 \\\n       bazel build \u002F\u002Fadlik_serving \\\n           --config=tensorflow-gpu \\\n           -c opt \\\n           --incompatible_use_specific_tool_files=false\n   ```\n\n#### 使用 TensorFlow Lite CPU 运行时构建推理服务\n\n1. 运行以下命令：\n\n   ```sh\n   bazel build \u002F\u002Fadlik_serving \\\n       --config=tensorflow-lite-cpu \\\n       -c opt\n   ```\n\n#### 使用 TensorRT 运行时构建推理服务\n\n假设使用 CUDA 11.0 版本进行构建。\n\n1. 从 [这里](https:\u002F\u002Fdocs.nvidia.com\u002Fcuda\u002Fcuda-installation-guide-linux\u002Findex.html#ubuntu-installation) 和 [这里](https:\u002F\u002Fdocs.nvidia.com\u002Fdeeplearning\u002Fsdk\u002Fcudnn-install\u002Findex.html#ubuntu-network-installation) 安装以下软件包：\n\n   - `cuda-cupti-dev-11-6`\n   - `cuda-nvml-dev-11-6`\n   - `cuda-nvrtc-11-6`\n   - `libcublas-dev-11-6`\n   - `libcudnn8=*+cuda11.6`\n   - `libcudnn8-dev=*+cuda11.6`\n   - `libcufft-dev-11-0`\n   - `libcurand-dev-11-0`\n   - `libcusolver-dev-11-6`\n   - `libcusparse-dev-11-6`\n   - `libnvinfer8=8.4.*+cuda11.6`\n   - `libnvinfer-dev=8.4.*+cuda11.6`\n   - `libnvonnxparsers8=8.4.*+cuda11.6`\n   - `libnvonnxparsers-dev=8.4.*+cuda11.6`\n\n2. 运行以下命令：\n\n   ```sh\n   env TF_CUDA_VERSION=11.6 \\\n       bazel build \u002F\u002Fadlik_serving \\\n           --config=TensorRT \\\n           -c opt \\\n           --action_env=LIBRARY_PATH=\u002Fusr\u002Flocal\u002Fcuda-11.0\u002Flib64\u002Fstubs \\\n           --incompatible_use_specific_tool_files=false\n   ```\n\n#### 使用 TF-TRT 运行时构建推理服务\n\n假设使用 CUDA 11.0 版本进行构建。\n\n1. 从 [这里](https:\u002F\u002Fdocs.nvidia.com\u002Fcuda\u002Fcuda-installation-guide-linux\u002Findex.html#ubuntu-installation) 和 [这里](https:\u002F\u002Fdocs.nvidia.com\u002Fdeeplearning\u002Fsdk\u002Fcudnn-install\u002Findex.html#ubuntu-network-installation) 安装以下软件包：\n\n   - `cuda-cupti-dev-11-6`\n   - `libcublas-dev-11-6`\n   - `libcudnn8=*+cuda11.6`\n   - `libcudnn8-dev=*+cuda11.6`\n   - `libcufft-dev-11-6`\n   - `libcurand-dev-11-6`\n   - `libcusolver-dev-11-6`\n   - `libcusparse-dev-11-6`\n   - `libnvinfer8=8.4.*+cuda11.6`\n   - `libnvinfer-dev=8.4.*+cuda11.6`\n   - `libnvinfer-plugin8=8.4.*+cuda11.6`\n   - `libnvinfer-plugin-dev=8.4.*+cuda11.6`\n\n2. 运行以下命令：\n\n   ```sh\n   env TF_CUDA_VERSION=11.6 TF_NEED_TENSORRT=1 \\\n       bazel build \u002F\u002Fadlik_serving \\\n           --config=tensorflow-tensorrt \\\n           -c opt \\\n           --incompatible_use_specific_tool_files=false\n   ```\n\n#### 使用 TVM 运行时构建推理服务\n\n1. 安装以下软件包：\n\n   - `build-essential`\n   - `cmake`\n   - `tvm`\n\n2. 运行以下命令：\n\n   ```sh\n   bazel build \u002F\u002Fadlik_serving \\\n      --config=tvm \\\n      -c opt\n   ```\n\n### 在 Docker 中构建\n\n可以使用 `ci\u002Fdocker\u002Fbuild.sh` 文件构建一个包含所有 Adlik 构建所需依赖的 Docker 镜像。然后可以使用该 Docker 镜像来构建 Adlik。\n\n> 注意：如果在 Docker 镜像中使用 GPU 构建运行时，需要在 Dockerfile 中添加 CUDA 环境变量，例如：\n>\n> ```dockerfile\n> ENV NVIDIA_VISIBLE_DEVICES all\n> ENV NVIDIA_DRIVER_CAPABILITIES compute, utility\n> ```\n\n### 发布版本\n\nAdlik 支持的服务引擎版本如下：\n\n|              | Enflame 2.0 | TensorFlow 2.10.1 | OpenVINO 2022.3.0 | TensorRT 8.4.3.1 | PaddlePaddle 2.4.0 |\n| ------------ | :---------: | :---------------: | :---------------: | :--------------: | :----------------: |\n| Keras        |       ✓     |        ✓          |        ✓          |       ✓          |          ✗         |\n| TensorFlow   |       ✓     |        ✓          |        ✓          |       ✓          |          ✗         |\n| PyTorch      |       ✓     |        ✗          |        ✓          |       ✓          |          ✗         |\n| PaddlePaddle |       ✓     |        ✗          |        ✓          |       ✓          |          ✓         |\n| OneFLow      |       ✓     |        ✓          |        ✓          |       ✓          |          ✗         |\n| OpenVINO     |       ✗     |        ✗          |        ✓          |       ✗          |          ✗         |\n\n## 许可证\n\nApache License 2.0","# Adlik 快速上手指南\n\nAdlik 是一个端到端的深度学习模型优化框架，旨在加速云端和嵌入式环境下的模型推理过程。它支持模型压缩（剪枝、量化）、编译以及多平台（CPU\u002FGPU\u002F边缘设备）的高效部署。\n\n## 1. 环境准备\n\n### 系统要求\n- **操作系统**: Ubuntu (推荐用于源码构建)\n- **硬件**: 支持 CPU 或 NVIDIA GPU (需安装对应驱动)\n\n### 前置依赖\n若选择**源码构建**，需预先安装：\n- `Git`\n- `Bazel`\n- Python 3 及相关包 (`python3-setuptools`, `python3-wheel`, `automake`, `libtbb2`, `libtool`, `make`, `python3-six`)\n\n若使用 **Docker 镜像**（推荐），只需安装 Docker 即可，无需配置复杂的环境依赖。\n\n---\n\n## 2. 安装步骤\n\nAdlik 提供了预构建的 Docker 镜像，托管在**阿里云容器镜像服务**，国内用户可直接拉取使用，无需自行编译。\n\n### 方式一：使用 Docker 镜像（推荐）\n\n#### 2.1 拉取模型编译器镜像\n用于将 TensorFlow, PyTorch, ONNX 等模型转换为优化格式（OpenVINO, TensorRT, TFLite 等）。\n\n```shell script\ndocker pull registry.cn-beijing.aliyuncs.com\u002Fadlik\u002Fmodel-compiler:v1.0\n```\n\n#### 2.2 拉取推理服务镜像\n根据硬件环境选择 CPU 或 GPU 镜像：\n\n**CPU 环境:**\n```shell script\ndocker pull registry.cn-beijing.aliyuncs.com\u002Fadlik\u002Fserving-openvino:v1.0\n# 或其他 CPU 镜像，如 serving-tensorflow-cpu:v1.0\n```\n\n**GPU 环境:**\n```shell script\ndocker pull registry.cn-beijing.aliyuncs.com\u002Fadlik\u002Fserving-tensorrt:v1.0\n# 或其他 GPU 镜像，如 serving-tftrt-gpu:v1.0\n```\n\n### 方式二：源码构建 (仅限高级用户)\n\n若需自定义构建，请克隆仓库并安装依赖：\n\n```sh\ngit clone https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik.git\ncd Adlik\n```\n\n构建客户端 Python 包：\n```sh\nbazel build \u002F\u002Fadlik_serving\u002Fclients\u002Fpython:build_pip_package -c opt\nmkdir \u002Ftmp\u002Fpip-packages && bazel-bin\u002Fadlik_serving\u002Fclients\u002Fpython\u002Fbuild_pip_package \u002Ftmp\u002Fpip-packages\n```\n\n构建特定后端的 Serving 引擎（以 OpenVINO 为例）：\n```sh\nexport INTEL_CVSDK_DIR=\u002Fopt\u002Fintel\u002Fopenvino_2022\nexport InferenceEngine_DIR=$INTEL_CVSDK_DIR\u002Fruntime\u002Fcmake\nbazel build \u002F\u002Fadlik_serving --config=openvino -c opt\n```\n\n---\n\n## 3. 基本使用\n\n以下流程演示如何使用 Docker 完成“模型编译”到“推理服务启动”的全过程。\n\n### 步骤 1: 编译模型\n将源模型（如 H5, SavedModel, ONNX）编译为优化后的格式。\n\n1. 启动编译器容器并挂载模型目录：\n   ```shell script\n   docker run -it --rm -v source_model:\u002Fmnt\u002Fmodel registry.cn-beijing.aliyuncs.com\u002Fadlik\u002Fmodel-compiler:v1.0 bash\n   ```\n\n2. 在容器内执行编译命令（以 JSON 配置模式为例）：\n   *注：需提前准备好 `serving_model.json` 配置文件，参考官方示例。*\n   ```shell script\n   python3 \"-c\" \"import json; import model_compiler as compiler; file=open('\u002Fmnt\u002Fmodel\u002Fserving_model.json','r'); request = json.load(file);compiler.compile_model(request); file.close()\"\n   ```\n   编译完成后，优化后的模型将保存在挂载目录中。\n\n### 步骤 2: 启动推理服务\n使用编译好的模型启动 Adlik Serving 引擎。\n\n1. 启动服务容器，映射端口并挂载编译后的模型：\n   ```shell script\n   docker run -it --rm -p 8500:8500 -v compiled_model:\u002Fmodel registry.cn-beijing.aliyuncs.com\u002Fadlik\u002Fserving-openvino:v1.0 bash\n   ```\n\n2. 在容器内加载模型并启动服务：\n   ```shell script\n   adlik-serving --grpc_port=8500 --http_port=8501 --model_base_path=\u002Fmodel\n   ```\n\n### 步骤 3: 执行推理\n在本地或容器内安装客户端 SDK 并调用服务。\n\n1. 安装客户端 Wheel 包：\n   ```shell script\n   pip install https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Freleases\u002Fdownload\u002Fv0.3.0\u002Fadlik_serving_api-0.3.0-py2.py3-none-any.whl\n   ```\n\n2. 编写 Python 代码发起推理请求（示例逻辑）：\n   ```python\n   from adlik_serving.client import Client\n   \n   client = Client(\"localhost:8500\")\n   # 构建输入数据并调用 predict 方法\n   # response = client.predict(...)\n   ```\n\n> **提示**: 若启动容器时未映射端口，需在容器内部安装上述 Wheel 包并在容器内直接执行推理代码。","某智慧零售团队正在将基于 ResNet50 的商品识别模型从云端下沉到边缘网关，以实现在线下的实时客流分析与货架监控。\n\n### 没有 Adlik 时\n- **推理延迟高**：原始模型在边缘设备的 CPU 上运行缓慢，单张图片识别耗时超过 200ms，无法满足实时视频流处理需求。\n- **部署流程繁琐**：针对不同硬件架构（如 ARM vs x86）需手动重写底层推理代码，维护多套二进制文件，极易出错。\n- **资源占用过大**：未优化的模型显存和内存占用过高，导致边缘设备频繁出现内存溢出（OOM），系统稳定性差。\n- **框架迁移困难**：训练使用的 PyTorch 模型难以直接在生产环境的 C++ 服务中高效加载，转换过程损耗大且兼容性差。\n\n### 使用 Adlik 后\n- **推理速度倍增**：利用 Adlik Model Compiler 的量化与剪枝技术，模型在同等硬件上推理延迟降至 40ms 以内，吞吐量提升 5 倍。\n- **一次编译多处运行**：通过 Adlik Serving Engine 将模型打包为统一容器或二进制库，自动适配云、边、端不同环境，部署效率提升 80%。\n- **极致资源优化**：经过结构压缩后的模型体积缩小 70%，内存占用大幅降低，使低配边缘网关也能稳定运行复杂算法。\n- **无缝框架支持**：直接支持 TensorFlow、PyTorch 等主流框架模型的导入与优化，无需修改原有训练代码即可生成高性能推理引擎。\n\nAdlik 通过端到端的模型编译与优化能力，让深度学习模型在资源受限的边缘设备上也能实现云端般的高效推理。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FAdlik_Adlik_3fb7c17c.png","Adlik ","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FAdlik_ed324bc8.png","Adlik is an end-to-end optimizing framework for Deep Learning models. Adlik accelerates DL inference process both on cloud and embedded environments.",null,"info@lfai.foundation","https:\u002F\u002Fadlik.ai","https:\u002F\u002Fgithub.com\u002FAdlik",[80,84,88,92,96,100,104],{"name":81,"color":82,"percentage":83},"C++","#f34b7d",47.3,{"name":85,"color":86,"percentage":87},"Python","#3572A5",39.5,{"name":89,"color":90,"percentage":91},"Starlark","#76d275",4.9,{"name":93,"color":94,"percentage":95},"Dockerfile","#384d54",4,{"name":97,"color":98,"percentage":99},"C","#555555",2.4,{"name":101,"color":102,"percentage":103},"Shell","#89e051",1.4,{"name":105,"color":106,"percentage":107},"CMake","#DA3434",0.6,806,82,"2026-03-15T14:12:33","Apache-2.0","Linux (Ubuntu)","可选。若使用 GPU 推理或编译 TensorRT 模型，需要 NVIDIA GPU 及 CUDA 支持。文档示例提及 CUDA 11.0 和 11.6 版本，需安装对应的 cuDNN 和 TensorRT 库。","未说明",{"notes":116,"python":117,"dependencies":118},"1. 官方推荐使用 Docker 镜像（托管在阿里云）进行模型编译和推理，可避免在 Ubuntu 上手动构建复杂的环境。\n2. 支持多种部署场景：云端（Docker 容器）、边缘端（Docker 容器自动加载模型）、设备端（编译为 .so 或 .lib 二进制文件链接运行）。\n3. 模型编译器支持将 TensorFlow, Keras, PyTorch 等框架的模型转换为 OpenVINO, TensorFlow Lite, TensorRT 等格式。\n4. 若自行从源码构建，必须安装 Bazel 构建工具，且不同运行时（OpenVINO, TensorFlow CPU\u002FGPU, TensorRT）需要安装特定的系统依赖包和对应版本的驱动库。","Python 3 (文档中命令使用 python3，具体小版本未说明)",[119,120,121,122,123,124,125,126,127,128],"Bazel","Git","OpenVINO (可选，用于 CPU 加速)","CUDA Toolkit (可选，GPU 模式)","cuDNN (可选，GPU 模式)","TensorRT (可选，GPU 模式)","automake","libtbb2","libtool","make",[15,14],[131,132,133,134,135,136,137,138,139],"deep-learning","inference","tensorflow-serving","openvino","tensorrt","compiler","inference-engine","model-optimizer","docker-images","2026-03-27T02:49:30.150509","2026-04-07T10:51:59.496405",[],[144,149,154,159,164,169,174,179],{"id":145,"version":146,"summary_zh":147,"released_at":148},127817,"v1.2.0","## 功能列表\n\n我们分叉了 [vLLM](https:\u002F\u002Fgithub.com\u002FAdlik\u002Fvllm) 仓库，并添加了一些新功能以加速大模型推理：\n\n- 支持 int8 推理。\n- 支持 int4 推理，吞吐量相比 FP16 模型提升 1.9 至 4.0 倍。\n- 支持 FP8 KV 缓存，不仅简化了量化和反量化的操作，而且无需额外的缩放因子占用 GPU 显存。启用该特性后，吞吐量最高可提升至不启用时的 1.54 倍。","2023-12-27T07:39:13",{"id":150,"version":151,"summary_zh":152,"released_at":153},127818,"v1.1.0","## 功能列表\n\n### 模型优化器\n\n- 支持量化感知训练（PTQ）和量化后训练（QAT）。\n- 支持低比特量化，并在Modelzoo上发布了W4A4和W3A3模型。\n- W4A4和W3A4模型在Paperswithcode的量化榜单中位列前两名。\n- 支持将量化模型导出为JIT和ONNX格式。\n- 支持使用AutoSlim进行自动模型剪枝。\n- 支持模型蒸馏。\n\n### LLMA\n\n- 支持在Cloudblazer Yunsui t20上进行大语言模型推理。\n","2023-06-29T06:19:21",{"id":155,"version":156,"summary_zh":157,"released_at":158},127819,"v1.0.0","发布日期：2022-12-20\r\n兼容性：Adlik r1.0.0 的功能接口与之前版本兼容。\n\n## 功能列表\n\n### 编译器\n\n- 支持将 ONNX 模型编译为可由燧原科技 Suixi 2.5 芯片加速的 Cloudblazer Yunsui i20 数据格式\n- 将 OpenVINO 升级至 2022.3.0 版本\n- 将 TensorFlow 升级至 2.10.1 版本\n- 将 TensorRT 升级至 8.4.3.1 版本\n- 在基础 Docker 镜像中将 Ubuntu 升级至 20.04，Python 升级至 3.8，CUDA 升级至 11.6\n\n### 推理引擎\n\n- 支持在 Cloudblazer Yunsui i20 上进行模型推理\n- 将 OpenVINO 升级至 2022.3.0 版本\n- 将 TensorFlow 升级至 2.10.1 版本\n- 将 TensorRT 升级至 8.4.3.1 版本\n- 在基础 Docker 镜像中将 Ubuntu 升级至 20.04，Python 升级至 3.8，CUDA 升级至 11.6\n\n### 模型库：\n\n- 新增 MobileNet V2 系列模型，其在 ImageNet-1K 数据集上的准确率达到 72.396%\n\n### 基准测试：\n\n- 完成了 YOLOv5m 和 Mask R-CNN 在 Intel 8260 CPU 上的基准测试，包括准确率、吞吐量等性能指标\n\n## 已修复的问题\n\n- [TensorRT 运行时加载错误](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Fissues\u002F580)\n- [深度推荐模型用例](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Fissues\u002F570)\n- [运行时已将 OpenVINO 升级至 2022.1.0 版本，但编译器未升级](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Fissues\u002F584)\n- [将 TensorFlow 升级至最新版本](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Fissues\u002F586)\n- [将 TensorRT 升级至 8.x 版本](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Fissues\u002F587)\n- [将基础 Ubuntu 镜像升级至 LTS 20.04？](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Fissues\u002F588)\n- [将 Python 版本从 3.6 升级至 3.8](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Fissues\u002F589)\n- [将 CI 镜像更新为 Ubuntu 20.04](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Fissues\u002F594)\n- [支持燧原科技设备](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Fissues\u002F590)","2022-12-20T01:27:08",{"id":160,"version":161,"summary_zh":162,"released_at":163},127820,"v0.5.0","发布日期：2022年6月21日  \n兼容性：Adlik r0.5 的功能接口与之前版本兼容。\n\n## 功能列表\n### 模型优化器\n- 支持 YOLOv5s 模型的量化和蒸馏，在 OpenVINO 运行时下可实现近 2.5 倍的推理性能提升。\n### 模型仓库\n- 新增一个存储 Adlik 优化并编译后的模型的仓库，包括 ResNet 系列模型和 YOLOv5 系列模型。\n### 编译器\n- 支持从 OneFlow 到 ONNX 的编译路径。\n- OpenVINO 升级至 2022.1.0 版本。\n### 推理引擎\n- 支持 Torch 运行时。\n- OpenVINO 升级至 2022.1.0 版本。\n### 基准测试\n- 在 Intel 8260 CPU 上对 BERT 模型进行基准测试，包括吞吐量及其他性能指标。\n\n## 已修复的问题\n- [TensorRT int8 量化功能无法使用](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Fissues\u002F533)\n- [OpenVINO 运行时不支持多输入模型](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Fissues\u002F551)\n- [无法通过 gRPC 激活模型](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Fissues\u002F550)\n- [手动模式下加载超过 16 个模型时出现段错误](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Fissues\u002F569)\n- [无法将 PaddlePaddle 模型文件编译为 OpenVINO 模型](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Fissues\u002F552)","2022-06-21T06:45:30",{"id":165,"version":166,"summary_zh":167,"released_at":168},127821,"v0.4.0","发布日期：2021-12-02  \n兼容性：Adlik r0.4 的功能接口与之前版本兼容。\n\n## 功能列表\n### 编译器\n\n1. Adlik 编译器支持 OpenVINO INT8 量化。\n2. Adlik 编译器支持 TensorRT INT8 量化。新增对 TensorRT 扩展量化校准器的支持，以减少量化带来的精度损失。\n\n### 优化器\n\n1. 支持多教师蒸馏方法，利用多个教师网络进行蒸馏优化。\n2. 支持 ZEN-NAS 搜索增强功能，包括并行训练、搜索加速优化以及修复原实现中的 bug 等。在搜索分数略有提升的情况下，搜索耗时缩短约 15%，同时训练精度提高 0.2% 至 1%。\n\n### 推理引擎\n\n1. 支持 Paddle Inference 运行时。使用 Paddle 格式模型时，无需通过 Onnx 组件转换模型格式，用户可直接在 Adlik 环境中进行模型推理。\n2. 支持 Intel TGL-U i5 设备上的推理，并完成了多种模型的基准测试。\n3. 云原生环境下的 Docker 镜像支持最新版本的推理组件，包括：\n   (1) OpenVINO：2021.4.582 版本  \n   (2) TensorFlow：2.6.2 版本  \n   (3) TensorRT：7.2.1.6 版本  \n   (4) Tf-lite：2.4.0 版本  \n   (5) TVM：0.7 版本  \n   (6) Paddle Inference：2.1.2 版本\n4. 引入 C++ 版本的 Client API，支持 CMake 和 Bazel 编译，便于用户在 C\u002FC++ 场景中部署。\n\n### 基准测试\n\n1. 在 Intel TGL-U i5 设备上完成了 Resnet-50、Yolo v3\u002Fv4、FastRCNN、MaskRCNN 等模型的基准测试，涵盖延迟、吞吐量以及 GPU 视频解码下的各项性能指标。\n2. [Adlik 优化后的 Bert 模型 MLPerf 测试结果。](https:\u002F\u002Fgithub.com\u002FAdlik\u002Fmlperf_benchmark#for-bert)\n\n## 已修复问题\n\n- [修复 Readme 中的 broken link。](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Fissues\u002F504)\n- [从 Caffe2 转换到 TensorRT 的模型不识别 MAX_BATCH_SIZE 参数。](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Fissues\u002F511)\n- [使用 Kubernetes 部署的编译器镜像不支持将 checkpoint 编译为 TensorRT 格式。](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Fissues\u002F491)\n- [添加调用 Adlik 的 C++ 接口及示例。](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Fissues\u002F486)\n- [为 TVM Runtime 添加 CI 构建流程。](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Fissues\u002F487)\n- [Adlik Serving 在使用 OpenVino 运行时且 batch size > 1 时无法运行 faster_rcnn 模型。](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Fissues\u002F543)\n\n","2021-12-02T07:39:30",{"id":170,"version":171,"summary_zh":172,"released_at":173},127822,"v0.3.0","发布日期：2021-06-21\r\n兼容性：Adlik r0.3 的功能接口与 r0.2 和 r0.1 兼容。\n\n## 功能列表\n### 编译器\n\n 1. 集成深度学习框架，包括 PaddlePaddle、Caffe 和 MXNet\n 2. 支持编译为 TVM 格式\n 3. 支持针对 OpenVINO 的 FP16 量化\n 4. 支持 TVM 自动调度\n\n### 优化器\n\n 1. [针对 YOLO V4 的特定优化](https:\u002F\u002Fgithub.com\u002FAdlik\u002Fobject_detection\u002Fblob\u002Fmain\u002FREADME.md)\n 2. [针对 ResNet-50 的剪枝、蒸馏和量化](https:\u002F\u002Fgithub.com\u002FAdlik\u002Fmodel_optimizer\u002Fblob\u002Fmaster\u002FREADME.md)\n\n\n### 推理引擎\n\n 1. 支持 TVM 和 TF-TRT 的运行时\n 2. 适用于云原生环境的 Docker 镜像支持最新版本的推理组件，包括：\n- OpenVINO (2021.1.110)\n- TensorFlow (2.4.0)\n- TensorRT (7.2.1.6)\n- TFLite (2.4.0)\n- TVM (0.7)\n\n ### 基准测试\n\n 1. 支持 Paddle 模型，例如 Paddle OCR、PP-YOLO、PPresnet-50\n\n ## 已修复的问题\n\n - [Resnet50 被编译为 SavedModel 时，报告错误的算子不在图中。](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Fissues\u002F299)\n - [解决 tflite 中 env 列表的错误方法。](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Fissues\u002F389)\n - [客户端不支持 gRPC 域。](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Fissues\u002F402)\n - [自定义 SavedModel 无法编译为 tflite。](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Fissues\u002F409)\n - [ONNX 模型无法编译为 OpenVINO 模型。](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Fissues\u002F430)\n - [客户端不支持 gRPC 域。](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Fissues\u002F402)\n - [在 AArch64、Fedora 33 上构建失败。](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Fissues\u002F422)","2021-06-21T02:13:13",{"id":175,"version":176,"summary_zh":177,"released_at":178},127823,"v0.2.0","发布日期：2020-11-20\r\n兼容性：Adlik r0.2 的功能接口与 r0.1 兼容。\n\n## 功能列表\n### 新型模型编译器\n\n 1. 支持针对不同表示形式的模型进行端到端编译的 DAG 图生成。\n 2. 源表示形式：H5、Ckpt、Pb、Pth、Onnx 和 SavedModel。\n 3. 目标表示形式：SavedModel、OpenVINO IR、TensorRT Plan 和 Tflite。\n 4. 支持为 TfLite 和 TensorRT 进行模型量化。\n 5. 支持 TfLite 的 Int8 量化。\n 6. 支持 TensorRT 的 Int8 和 fp16 量化。\n\n ### 推理引擎\n\n 1. 支持机器学习和深度学习推理作业的混合调度。\n 2. 支持在云原生环境中基于镜像部署 Adlik 编译器和推理引擎。\n 3. 部署及各项功能已在 Docker（V19.03.12）和 Kubernetes（V1.13）中完成测试。\n 4. 支持 Adlik 在 RaspberryPi 和 JetsonNano 上运行。\n 5. 支持最新版本的 OpenVINO（2021.1.110）和 TensorFlow（2.3.1）。\n\n ### 基准测试\n\n 1. 支持对包括 ResNet-50、Inception V3、Yolo V3 和 Bert 在内的模型进行基准测试，使用 Adlik 支持的 4 种设备和 5 种运行时环境。\n\n ## 已修复的问题\n\n - [无法将 Yolo.h5 转换为 OpenVINO 运行时。](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Fissues\u002F299)\n - [gRPC：接收到的消息大于最大值。](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Fissues\u002F292)\n - [initializeOutputBindings() 方法中 cudaMalloc() 失败时返回的消息错误。](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Fissues\u002F287)\n - [无法使用以下转换后的 YoloV3 模型进行预测。](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Fissues\u002F286)\n - [\"adlik_serving --help\" 应该成功退出。](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Fissues\u002F269)\n - [基准测试无法通过 TensorFlow GPU 镜像自动推断。](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Fissues\u002F217)\n - [如果 model.pbtxt 中的信息与 TensorFlow Lite 运行时中的模型表示不一致，预测将会失败。](https:\u002F\u002Fgithub.com\u002FAdlik\u002FAdlik\u002Fissues\u002F136)","2020-11-20T22:57:49",{"id":180,"version":181,"summary_zh":182,"released_at":183},127824,"v0.1.0","# 发布版本 0.1.0\n\n 发布日期：2020-06-15  \n 兼容性：由于 r0.1.0 是 Adlik 的首个发布版本，因此暂无兼容性考虑。\n\n ## 功能列表\n\n ### 模型编译器\n\n 1. 一个易于扩展和维护的新框架。\n 2. 支持将 Keras、TensorFlow 和 PyTorch 训练的模型进行编译，以在 CPU\u002FGPU 上获得更好的执行性能。\n\n | 训练框架 | 模型格式 | 目标运行时 | 编译后格式 |\n | ------------------ | :----------- | :------------- | :-------------: |\n | Keras              | h5           | Tf Serving     |   SavedModel    |\n |                    |              | OpenVINO       |       IR        |\n |                    |              | TensorRT       |      Plan       |\n |                    |              | TF-Lite        |     tflite      |\n | TensorFlow         | Ckpt\u002Fpb      | Tf Serving     |   SavedModel    |\n |                    |              | OpenVINO       |       IR        |\n |                    |              | TensorRT       |      Plan       |\n |                    |              | TF-Lite        |     tflite      |\n | PyTorch            | pth          | OpenVINO       |       IR        |\n |                    |              | TensorRT       |      Plan       |\n\n | 训练框架 | 推理引擎        | 硬件环境 |\n | ------------------ | :---------------------- | :------------------: |\n | Keras              | TensorFlow Serving-1.14 |       CPU\u002FGPU        |\n |                    | TensorFlow Serving-2.2  |       CPU\u002FGPU        |\n |                    | OpenVINO-2019           |         CPU          |\n |                    | TensorRT-6              |         GPU          |\n |                    | TensorRT-7              |         GPU          |\n |                    | TF Lite-2.1             |     CPU(X86\u002FARM)     |\n | TensorFlow         | TensorFlow Serving-1.14 |       CPU\u002FGPU        |\n |                    | TensorFlow Serving-2.2  |       CPU\u002FGPU        |\n |                    | OpenVINO-2019           |         CPU          |\n |                    | TensorRT-6              |         GPU          |\n |                    | TensorRT-7              |         GPU          |\n |                    | TF Lite-2.1             |     CPU(X86\u002FARM)     |\n | PyTorch            | OpenVINO-2019           |         CPU          |\n |                    | TensorRT-6              |         GPU          |\n\n ### 模型优化器\n\n 1. 多节点多 GPU 训练与剪枝。\n 2. 可配置的滤波器剪枝实现，以减小推理模型的尺寸。\n 3. 针对 TF-Lite 和 TF-TRT 的小批量数据集量化。\n\n ### 推理引擎\n\n 1. 多模型及多版本管理。\n 2. 提供 HTTP\u002FGRPC 接口用于推理服务。\n 3. 支持多模型实例调度的运行时调度器。\n 4. 集成多种深度学习推理运行时，包括 TensorFlow Serving、OpenVINO、TensorRT 和 TF Li","2020-06-15T14:17:22"]