生产环境中的深度学习

在这个仓库中，我将分享一些关于在生产环境中部署基于深度学习的模型的实用笔记和参考资料。

将 PyTorch 模型转换为生产级：

• PyTorch 生产级教程 [非常棒]
• 通往 1.0 的道路：生产就绪的 PyTorch
• PyTorch 1.0 追踪 JIT 和 LibTorch C++ API，用于将 PyTorch 集成到 NodeJS 中 [好文章]
• PyTorch 中的模型服务
• PyTorch 夏季黑客马拉松 [非常重要]
• 使用 Flask 部署 PyTorch 并构建 REST API [重要]
• 在 Flask 上部署的识别热狗与非热狗的 PyTorch 模型
• 以 C++ 作为 Web 服务器来服务 PyTorch 1.0 模型 [有用的示例]
• PyTorch 内部机制 [有趣且有用的文章]
• 支持 PyTorch 模型预测的 Flask 应用程序
• 在 Flask 上安全地服务 PyTorch 模型
• 使用 Caffe2 和 ONNX 在 AWS Lambda 上服务 PyTorch 模型
• 使用 Caffe2 和 ONNX 在 AWS Lambda 上服务 PyTorch 模型（另一个版本）
• 深入 ONNX Runtime
• EuclidesDB - 多模型机器学习特征数据库，支持 PyTorch
• EuclidesDB - GitHub
• WebDNN：Web 浏览器上最快的 DNN 执行框架
• FastAI PyTorch 无服务器 API（使用 AWS Lambda）
• FastAI PyTorch 在生产中的讨论
• OpenMMLab 模型部署框架
• PyTorch 原生架构优化：torchao
• TorchServe [很棒的工具]
• TorchServe 视频教程
• LitServe：闪电般快速地轻松服务 AI 模型

将 PyTorch 模型转换为 C++：

• 在 C++ 中加载 PyTorch 模型 [非常棒]
• PyTorch C++ API [太棒了]
• Torch（PyTorch）C++ 前端简介 [非常好]
• 关于使用 PyTorch C++ API 的博客 [不错]
• ATen：一个张量库
• 关于类似 PyTorch 的 C++ 接口的重要问题
• PyTorch C++ API 测试
• 通过 C++ 使用 PyTorch [有用的笔记]
• AUTOGRADPP
• PyTorch C++ 库
• PyTorch 的直接 C++ 接口
• 用于将 PyTorch 图编译为 C 的 Python 模块

将 TensorFlow 模型部署到生产环境：

• 如何使用 TensorFlow 部署机器学习模型 - 第1部分
• 如何使用 TensorFlow 部署机器学习模型 - 第2部分
• 如何使用 TensorFlow 部署机器学习模型 - 第3部分
• TensorFlow 中的神经结构化学习 (NSL) [很棒]
• 构建健壮的生产就绪深度学习视觉模型
• 为 TensorFlow 模型创建 REST API
• Siraj Raval 在 YouTube 上讲解的“如何在生产环境中部署 TensorFlow 模型”
• Siraj Raval 在 YouTube 上讲解的“如何在生产环境中部署 TensorFlow 模型”的代码
• 如何使用 TensorFlow Serving 部署目标检测模型 [非常好的教程]
• 冻结 TensorFlow 模型并在网页上提供服务 [非常好的教程]
• 如何使用 TF Serving 将 TensorFlow 模型部署到生产环境 [不错]
• Zendesk 如何在生产环境中服务 TensorFlow 模型
• TensorFlow Serving 示例项目
• 使用 TensorFlow Serving 在生产环境中服务模型 [2017 年 TensorFlow 开发者峰会视频]
• 将 TensorFlow 构建为独立项目
• TensorFlow C++ API 示例
• TensorFlow.js
• 介绍 TensorFlow.js：JavaScript 中的机器学习

将 Keras 模型部署到生产环境：

• 使用 Keras、Redis、Flask 和 Apache 进行深度学习生产部署 [排名第一且通用实用教程]
• 在 Python 中将 Keras 深度学习模型部署为 Web 应用程序 [非常好]
• 在 AWS 上部署 Python Web 应用程序 [非常好]
• 部署深度学习模型第 1 部分：准备模型
• 部署你的 Keras 模型
• 使用 Keras.js 部署你的 Keras 模型
• Siraj Raval 在 YouTube 上发布的《如何将 Keras 模型部署到生产环境》[https://github.com/llSourcell/how_to_deploy_a_keras_model_to_production]
• 10 分钟内使用 Flask 将 Keras 模型部署为 Web 应用程序 [优秀的代码库]
• 使用 Flask 部署 Keras 深度学习模型
• keras2cpp

将 MXNet 模型部署到生产环境：

• Apache MXNet 的模型服务器
• 运行模型服务器
• 多模型服务器 (MMS) 文档
• 介绍 Apache MXNet 的模型服务器
• 单次多目标检测推理服务
• Amazon SageMaker
• 如何服务使用 Gluon API 构建的 MXNet 模型
• MXNet C++ 包
• MXNet C++ 包示例
• MXNet C++ 图像分类示例
• MXNet C++ 教程
• MXNet API 简介 [非常好的学习 MXNet 的教程]
• GluonCV
• GluonNLP
• 用于生产级神经网络推理的模型量化 [非常优秀]

使用 Go 部署机器学习模型：

• Cortex：在生产环境中部署机器学习模型
• Cortex 主页
• 为什么我们使用 Go 而不是 Python 来部署机器学习模型
• Go-Torch
• Gotch — PyTorch 的 Go API
• TensorFlow Go Lang
• Go-onnx

通用深度学习部署工具包：

• OpenVINO 工具包 — 深度学习部署工具包仓库 [很棒]
• ClearML — 机器学习/深度学习开发与生产套件
• 使用 Heroku 部署模型：Heroku 完整指南 [不错]
• NVIDIA Triton 推理服务器 [很棒]
• NVIDIA Triton 推理服务器 — GitHub [很棒]
• Cohere 利用 NVIDIA Triton 推理服务器提升推理速度
• NVIDIA 深度学习 Tensor Core 示例 [很有意思]
• 使用 Triton 推理服务器部署 Jasper 推理模型 [很有用]
• NVIDIA 通过 Triton 提供的 MLOps 课程
• Awesome Production Machine Learning [很棒]
• BentoML 模型服务

华为深度学习框架：

• MindSpore — 华为深度学习框架
• MindSpore 教程

通用深度学习编译器栈：

• TVM 栈

不同深度学习框架之间的模型转换：

• ONNX（开放神经网络交换）
• 使用 ONNX 的教程
• MMdnn [非常棒]
• 将完整的 ImageNet 预训练模型从 MXNet 转换为 PyTorch [非常棒，这里的“完整 ImageNet 模型”指的是在约 1400 万张图像上训练的模型]

一些 Caffe2 教程：

• 使用 Caffe2 的 Mnist 示例
• Caffe2 C++ 教程和示例
• 在 Caffe2 上进行 SqueezeNet 的迁移学习
• 使用 Caffe2 框架在 C++ 中构建基础程序

一些用于 UI 设计（前端开发）的实用资源：

• ReactJS vs Angular5 vs Vue.js
• Angular 与 React 及其核心语言的比较
• 成为全栈开发者的指南 [非常不错的教程]
• 2018 年成为 Web 开发者的路线图 [非常好的代码仓库]
• 2018 年的现代前端开发者
• 2018 年成为 React 开发者的路线图
• 2019 年 UI 和 UX 设计趋势 [不错]
• Streamlit [构建自定义机器学习工具的最快方式]
• Gradio [不错]
• Web Developer Monthly
• 23 款最佳 React UI 组件框架
• 2018 年 9 款使用 Styled Components 的 React UI 库
• 35 款新的 UI 设计工具
• 5 款加速应用开发的工具 [非常不错]
• 如何将 ReactJS 与 Webpack 4、Babel 7 和 Material Design 结合使用
• Adobe Typekit [出色的字体，随需而至]
• 使用 Angular 6 构建一个真实的精美 Web 应用程序
• 你不懂 JavaScript
• JavaScript 最佳文章 Top 10
• 使用 Adobe XD 进行网页设计
• INSPINIA Bootstrap Web 主题
• 面向前端开发者的学习跟踪器
• 最全的现代前端黑客技巧速查表 [实用且有趣]
• 为机器学习工作流 GUI 化（Machine Flow）
• Electron - 使用 JavaScript 构建跨平台桌面应用 [非常好]
• Opyrator - 将 Python 函数转换为带有 Web API 的微服务 [很棒]
• 初探 PyScript：在浏览器中运行 Python [有趣]

移动与嵌入式设备开发：

• PyTorch Mobile [非常优秀]
• 2018 年移动 UI 设计趋势
• ncnn - 高性能神经网络推理框架，专为移动平台优化 [实用]
• 阿里巴巴 - MNN
• Awesome Mobile Machine Learning
• EMDL - 嵌入式与移动深度学习
• Fritz - 面向 iOS 和 Android 的机器学习平台
• TensorFlow Lite
• 微型机器学习：下一场 AI 革命
• TLT - NVIDIA 转移学习工具包
• NVIDIA Jetson Inference [很棒]
• EfficientML.ai 讲座（MIT 课程）
• PyTorch Edge：通过 ExecuTorch 实现跨移动和边缘设备的本地推理

后端开发部分：

• 2018年的现代后端开发者
• 以有趣的方式部署前端应用 [非常好]
• RabbitMQ [消息代理软件]
• Celery [分布式任务队列]
• Kafka [分布式流处理平台]
• 使用DockerMe进行Docker培训
• Kubernetes - GitHub
• 在Google Kubernetes Engine上部署机器学习流水线
• 面向数据科学家的Kubernetes入门
• 使用Docker Desktop的Jenkins和Kubernetes
• Helm：Kubernetes的包管理器
• 使用Docker Swarm创建集群
• deepo - 适用于所有深度学习框架的Docker镜像
• Kubeflow [在Kubernetes上部署机器学习工作流]
• kubespray - 部署生产就绪的Kubernetes集群
• KFServing - 用于服务机器学习模型的Kubernetes
• 使用KFServing部署HuggingFace NLP模型 [有趣]
• Seldon Core - 在Kubernetes上部署机器学习模型
• Seldon Core - GitHub
• 机器学习：在Ubuntu上使用Kubeflow服务模型，第一部分
• CoreWeave Kubernetes云
• MLOps参考资料 [面向机器学习的DevOps]
• 数据版本控制 - DVC [很棒]
• MLEM：打包和部署机器学习模型
• PySyft - 用于加密、保护隐私的深度学习库
• LocalStack - 功能齐全的本地AWS云栈
• poetry：Python包管理和依赖管理
• Netflix为大规模流媒体选择的强大数据库
• Ray：用于扩展AI和Python应用的统一框架

GPU管理库：

• GPUtil
• py3nvml [NVIDIA管理库的Python 3绑定]
• PyCUDA - GitHub
• PyCUDA
• PyCUDA教程
• setGPU
• 监控你的GPU [优秀]
• GPU-Burn - 多GPU CUDA压力测试 [实用]
• Grafana - 监控与可观测性 [优秀]
• Prometheus [非常优秀的监控解决方案，可用于提取所需指标]
• OpenAI Triton：面向神经网络的开源GPU编程

加速与可扩展的 Python 代码：

• Numba - 让 Python 代码运行得更快
• Dask - 原生支持 Python 的分布式计算
• 什么是 Dask
• Ray - 运行分布式应用
• Neural Network Distiller [PyTorch 中深度学习模型的蒸馏与量化]
• Autodistill
• PyTorch 剪枝教程
• 能否在不损失精度的情况下移除神经网络中 99% 的参数？—— 权重剪枝简介
• PocketFlow - 自动模型压缩（AutoMC）框架 [优秀]
• TensorFlow 模型优化工具包介绍
• TensorFlow 模型优化工具包 —— 训练后整数量化
• TensorFlow 训练后量化
• PyTorch 中的动态量化
• PyTorch 中的静态量化
• NVIDIA DALI - 高度优化的深度学习数据预处理
• Horovod - 分布式训练框架
• ONNX 浮点32转浮点16
• 使用 TensorRT 加速深度学习推理
• 加速训练
• 原生 PyTorch 自动混合精度，用于在 NVIDIA GPU 上加速训练
• JAX - 可组合的 Python+NumPy 程序变换工具
• TensorRTx - 使用 TensorRT 实现流行的深度学习网络
• 使用 TensorFlow、ONNX 和 TensorRT 加速深度学习推理
• TensorRT 开发者指南
• 如何将模型从 PyTorch 转换为 TensorRT 并加速推理 [不错]
• cuDF: GPU DataFrame 库
• cuDF 示例

深度学习硬件笔记：

• 深度学习硬件

MLOps 课程与资源：

• MLOps 基础 [优秀]
• MLOPs-Zoomcamp [优秀]
• 学习 MLOps 的资源合集 [优秀]
• Awesome MLOps [优秀]
• 数据科学主题与 MLOps [优秀]
• MLEM: 打包和部署机器学习模型
• DevOps 练习
• MlOPs 示例项目
• prefect: 编排和监控您的所有工作流
• DataTalks Club: 数据交流的场所
• OpenNMT CTranslate2: Transformer 模型的快速推理引擎

其他：

• 生产级深度学习指南
• Facebook 表示开发者会爱上 PyTorch 1.0
• PyTorch 工作流的一些变更
• wandb - 用于可视化和跟踪机器学习实验的工具
• PyTorch 和 Caffe2 仓库逐渐融合
• PyTorch 还是 TensorFlow？
• 2018 年选择深度学习框架：TensorFlow 还是 PyTorch？
• PyTorch 与 TensorFlow 之间的深度学习大战
• 将机器学习模型嵌入 Web 应用程序（第 1 部分）
• 部署深度学习模型：第 1 部分概述
• 生产环境中的机器学习
• 如何通过 Python 将数据预处理速度提升 2–6 倍
• 使您的 C 库可通过 Python 调用
• MIL WebDNN
• 多 GPU 框架比较 [优秀]

Deep-Learning-in-Production 快速上手指南

本指南基于 Deep-Learning-in-Production 仓库资源整理，旨在帮助开发者将深度学习模型（PyTorch, TensorFlow, Keras, MXNet 等）高效部署至生产环境。由于该仓库主要汇集了大量框架特定的部署方案与工具链，以下指南将以最主流的 PyTorch + TorchServe 方案为例，展示从模型导出到服务部署的核心流程，并列出其他框架的关键路径。

环境准备

在开始之前，请确保您的开发环境满足以下基本要求：

• 操作系统: Linux (推荐 Ubuntu 18.04/20.04), macOS, 或 Windows (WSL2 推荐)。
• Python 版本: Python 3.8 - 3.10 (根据具体框架版本调整)。
• 前置依赖:
  • Git
  • CUDA Toolkit (如需 GPU 加速，版本需与深度学习框架匹配)
  • Java JDK 11+ (TorchServe 运行需要)
• 国内加速建议:
  • 推荐使用清华源或阿里源安装 Python 包，以提升下载速度：

    pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>
    

安装步骤

本示例以部署 PyTorch 模型为例，使用官方推荐的 TorchServe 作为推理服务器。

1. 安装基础深度学习框架

首先安装 PyTorch。国内用户建议使用清华源加速安装：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
# 若无需 GPU，使用 cpu 版本:
# pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu

2. 安装 TorchServe 及处理器

安装 TorchServe 核心组件及其默认的 PyTorch 处理器：

pip install torchserve torch-model-archiver torch-workflow-archiver
# 若使用 GPU 版本，需额外安装：
# pip install torchserve-gpu torch-model-archiver-gpu torch-workflow-archiver-gpu

3. 验证安装

检查安装是否成功：

torchserve --version
model-archiver --version

基本使用

以下流程演示如何将一个训练好的 PyTorch 模型打包并启动为 REST API 服务。

第一步：导出模型 (.pt/.pth)

假设你已有一个训练好的 PyTorch 模型 model，首先需要将其转换为 TorchScript 格式以便在生产环境中运行：

import torch

# 假设 model 是你的神经网络实例，且已加载权重
model.eval()
example_input = torch.rand(1, 3, 224, 224) # 根据实际输入形状调整

# 追踪模式 (Tracing) 导出
scripted_model = torch.jit.trace(model, example_input)

# 保存模型
scripted_model.save("resnet18.pt")

第二步：打包模型 (.mar)

使用 model-archiver 将模型文件、处理逻辑（可选，此处使用默认图像分类处理器）打包为 .mar 文件：

model-archiver --model-name resnet18 \
--version 1.0 \
--model-file resnet18.pt \
--handler image_classifier \
--export-path model-store

注：--handler 可根据任务类型选择，如 text_classification, object_detector 等，也可编写自定义 handler。

第三步：启动服务

启动 TorchServe 并加载模型：

torchserve --start --model-store model-store --models resnet18.mar

第四步：调用推理接口

服务启动后，默认监听 8080 (管理) 和 8081 (推理) 端口。使用 curl 发送图片进行预测：

curl http://localhost:8081/predictions/resnet18 -T dog.jpg

返回结果通常为 JSON 格式的类别概率分布。

---

其他框架部署关键路径参考

如果您使用的是其他框架，请参考以下核心工具链进行部署：

• TensorFlow: 推荐使用 TensorFlow Serving。
  • 核心命令：tensorflow_model_server --model_base_path=/path/to/model --rest_api_port=8501
  • 关键资源：Freeze 模型 (freeze_graph) -> Docker 容器化部署。
• Keras: 可复用 TensorFlow Serving，或使用 Flask + Redis 架构。
  • 典型方案：利用 keras-flask-deploy-webapp 模板快速搭建 Web 服务。
• MXNet: 推荐使用 Model Server for Apache MXNet (MMS)。
  • 核心命令：mxnet-model-server --start --models my_model.mar
• C++ 高性能部署:
  • PyTorch: 使用 LibTorch C++ API，参考 Loading a PyTorch Model in C++ 教程。
  • 通用加速: 使用 NVIDIA Triton Inference Server 或 OpenVINO Toolkit 进行多框架统一部署与硬件加速。
• Go 语言部署:
  • 可使用 Cortex 平台或 Gotch (Go binding for PyTorch) 进行高性能后端开发。