:bulb: 生产级深度学习指南 :clapper: :scroll: :ferry:

🇨🇳 中文翻译在 这里

:label: 新增：机器学习面试题

:label: 注意：欢迎所有反馈和贡献 :blush:

将深度学习模型部署到生产环境中可能充满挑战，因为这远远超出了训练出性能良好的模型这一阶段。为了部署一个生产级别的深度学习系统，需要设计和开发多个不同的组件（如下所示）：

本仓库旨在为构建将在实际应用中部署的生产级深度学习系统提供工程指导。

此处提供的内容借鉴自以下资源：全栈深度学习训练营（由加州大学伯克利分校的 Pieter Abbeel、OpenAI 的 Josh Tobin 和 Turnitin 的 Sergey Karayev 共同创办）、Robert Crowe 主持的 TFX 工作坊，以及 Pipeline.ai 的 高级 KubeFlow 聚会（由 Chris Fregly 组织）。

机器学习项目

有趣的是：85% 的 AI 项目都会失败。¹ 可能的原因包括：

• 技术上不可行或范围界定不清
• 始终未能进入生产阶段
• 成功标准（指标）不明确
• 团队管理不善

1. 机器学习项目生命周期

• 理解所在领域的最新进展的重要性：
  • 有助于了解哪些是可行的
  • 有助于知道下一步该尝试什么

2. 机器学习项目的思维模型

在定义和优先排序机器学习项目时，需要考虑两个重要因素：

• 高影响力：
  • 您流水线中的复杂部分
  • 在“低成本预测”具有价值的地方
  • 自动化复杂手动流程具有价值的地方
• 低投入：
  • 投入成本主要受以下因素驱动：
    • 数据的可获得性
    • 性能要求：成本通常会随着准确率要求的提高而呈超线性增长
    • 问题的难度：
      • 一些较为困难的问题包括：无监督学习、强化学习以及某些类型的监督学习

全栈式流水线

下图展示了生产级深度学习系统中各个组件的高层次概览：

接下来，我们将逐一介绍每个模块，并推荐适合各组件的工具集、框架以及从业者的最佳实践。

1. 数据管理

1.1 数据来源

• 监督式深度学习需要大量标注数据
• 自行标注数据成本高昂！
• 以下是一些数据资源：
  • 开源数据（适合作为起点，但并非优势）
  • 数据增强（计算机视觉领域必不可少，自然语言处理领域则可选）
  • 合成数据（几乎总是值得首先尝试，尤其是在自然语言处理领域）

1.2 数据标注

• 需要独立的软件栈（标注平台）、临时劳动力和质量控制
• 标注劳动力来源：
  • 众包（Mechanical Turk）：廉价且可扩展，但可靠性较低，需进行质量控制
  • 自聘标注员：所需质量控制较少，成本较高，扩展速度较慢
  • 数据标注服务公司：
    • FigureEight
• 标注平台：
  • Diffgram：用于计算机视觉的训练数据软件
  • Prodigy：基于主动学习的标注工具（由 Spacy 的开发者打造），适用于文本和图像
  • HIVE：面向计算机视觉的 AI 即服务平台
  • Supervisely：完整的计算机视觉平台
  • Labelbox：专注于计算机视觉
  • Scale：AI 数据平台（涵盖计算机视觉和自然语言处理）

1.3 数据存储

• 数据存储选项：
  • 对象存储：用于存储二进制数据（图像、音频文件、压缩文本等）
    • Amazon S3
    • Ceph 对象存储
  • 数据库：用于存储元数据（文件路径、标签、用户活动等）。
    • 对于大多数应用来说，Postgres 是理想选择，它拥有业界一流的 SQL 功能，并且对非结构化 JSON 数据提供了很好的支持。
  • 数据湖：用于聚合无法从数据库中获取的特征（例如日志）。
    • Amazon Redshift
  • 特征存储：用于存储、访问和共享机器学习特征 （特征提取可能非常耗时且难以扩展，因此不同模型和团队之间共享特征是高性能机器学习团队的关键）。
    • FEAST（Google Cloud，开源）
    • Michelangelo Palette（Uber）
• 建议：在训练时，将数据复制到本地或网络文件系统（NFS）中。¹

1.4 数据版本控制

• 对已部署的机器学习模型而言，这是“必须”的： 已部署的机器学习模型既是代码的一部分，也是数据的一部分。¹ 如果没有数据版本控制，也就没有模型版本控制。
• 数据版本控制平台：
  • DVC：面向机器学习项目的开源版本控制系统
  • Pachyderm：用于数据的版本控制
  • Dolt：一种带有类似 Git 版本控制功能的 SQL 数据库，可用于数据和模式的版本管理

1.5. 数据处理

• 生产模型的训练数据可能来自不同来源，包括 数据库和对象存储中的存储数据、日志处理 以及 其他分类器的输出。
• 任务之间存在依赖关系，每个任务都需要在其依赖项完成后才能启动。例如，在新日志数据上进行训练之前，必须先完成预处理步骤。
• Makefile 不具备可扩展性。因此，“工作流管理器”在此变得非常重要。
• 工作流编排：
  • Spotify 的 Luigi
  • Airbnb 的 Airflow：动态、可扩展、优雅且广泛使用
    • DAG 工作流
    • 强大的条件执行功能：失败时可重试
    • Pusher 支持带有 TensorFlow Serving 的 Docker 镜像
    • 整个工作流可以放在一个 .py 文件中

2. 开发、训练与评估

2.1. 软件工程

• 主流语言：Python
• 编辑器：
  • Vim
  • Emacs
  • VS Code（作者推荐）：内置 Git 暂存和差异查看功能，支持代码检查，并可通过 SSH 远程打开项目
  • 笔记本：作为项目的起点非常棒，但难以扩展（有趣的是，Netflix 的笔记本驱动架构是一个例外，它完全基于 nteract 套件）。
    • nteract：基于 React 的下一代 Jupyter 笔记本用户界面
    • Papermill：一个用于 参数化、执行 和 分析 Jupyter 笔记本的 nteract 库。
    • Commuter：另一个 nteract 项目，提供只读的笔记本显示功能（例如从 S3 存储桶中加载）。
  • Streamlit：具有应用程序的小型交互式数据科学工具
• 计算资源建议 ¹：
  • 对于 个人 或 初创公司：
    • 开发：配备 4 块 Turing 架构 GPU 的电脑
    • 训练/评估：使用同一台配备 4 块 GPU 的电脑。如果需要运行大量实验，可以购买共享服务器或使用云实例。
  • 对于 大型公司：
    • 开发：为每位机器学习科学家配备一台配备 4 块 Turing 架构 GPU 的电脑，或者允许他们使用 V100 实例
    • 训练/评估：使用云实例，并做好适当的资源配置和故障处理
• 云服务提供商：
  • GCP：可以选择将 GPU 连接到任何实例，并且还提供 TPU
  • AWS：

2.2. 资源管理

• 将空闲资源分配给程序
• 资源管理选项：
  • 传统集群作业调度器（例如 Slurm 工作负载管理器）
  • Docker + Kubernetes
  • Kubeflow
  • Polyaxon（付费功能）

2.3. 深度学习框架

• 除非有充分理由不使用，否则应选择 Tensorflow/Keras 或 PyTorch。¹
• 下图展示了不同框架在“开发”和“生产”方面的比较。

2.4. 实验管理

• 开发、训练和评估策略：
  • 始终从 简单 开始
    • 先用小批量数据训练一个小模型。只有当它有效时，再逐步扩大到更大的数据集和模型，并进行超参数调优！
  • 实验管理工具：
  • Tensorboard
    • 提供 ML 实验所需的可视化和工具支持
  • Losswise（ML 监控）
  • Comet：允许您跟踪代码、实验和 ML 项目的成果
  • Weights & Biases：轻松协作记录并可视化研究的每一个细节
  • MLFlow Tracking：用于记录参数、代码版本、指标和输出文件，并对结果进行可视化。
    • 只需一行 Python 代码即可自动跟踪实验
    • 并排比较多个实验
    • 超参数调优
    • 支持基于 Kubernetes 的作业

2.5. 超参数调优

• 方法：

  • 网格搜索
  • 随机搜索
  • 贝叶斯优化
  • HyperBand 和异步连续减半算法 (ASHA)
  • 基于种群的训练

• 平台：

  • RayTune：Ray Tune 是一个用于任意规模超参数调优的 Python 库（专注于深度学习和深度强化学习）。支持所有机器学习框架，包括 PyTorch、XGBoost、MXNet 和 Keras。
  • Katib：Kubernetes 原生的超参数调优和神经架构搜索系统，灵感来源于 Google vizier（参考文献：[Google vizier](https://static.googleusercontent.com/media/ research.google.com/ja//pubs/archive/ bcb15507f4b52991a0783013df4222240e942381.pdf)），支持多种 ML/DL 框架（如 TensorFlow、MXNet 和 PyTorch）。
  • Hyperas：一个简单的 Keras 超参数优化封装库，采用简洁的模板语法来定义超参数范围。
  • SIGOPT：一个可扩展的企业级优化平台
  • Sweeps 来自 [Weights & Biases]（https://www.wandb.com/）：开发者无需显式指定参数，而是由机器学习模型自动近似并学习这些参数。
  • Keras Tuner：一个专门针对 tf.keras 和 TensorFlow 2.0 的 Keras 超参数调优工具。

2.6. 分布式训练

• 数据并行：当迭代时间过长时使用（Tensorflow 和 PyTorch 都支持）
  • Ray 分布式训练
• 模型并行：当模型无法放入单个 GPU 时使用
• 其他解决方案：
  • Horovod

3. 故障排除 [待定]

4. 测试与部署

4.1. 测试与 CI/CD

机器学习生产级软件比传统软件需要更丰富的测试套件：

• 单元测试与集成测试：
  • 测试类型：
    • 训练系统测试：测试训练流水线
    • 验证测试：在验证集上测试预测系统
    • 功能测试：在少数重要示例上测试预测系统
• 持续集成：每次向代码库推送新代码变更后运行测试
• 持续集成的 SaaS 工具：
  • Argo：开源的 Kubernetes 原生工作流引擎，用于编排并行任务（包括工作流、事件、CI 和 CD）。
  • CircleCI：支持多种语言、自定义环境、灵活的资源分配，被 Instacart、Lyft 和 StackShare 等公司使用。
  • Travis CI
  • Buildkite：构建快速且稳定，开源代理几乎可在任何机器和架构上运行，允许自由使用自有工具和服务。
  • Jenkins：老牌构建系统

4.2. Web 部署

• 包括 预测系统 和 服务系统
  • 预测系统：处理输入数据，生成预测结果
  • 服务系统（Web 服务器）：
    • 以可扩展性为目标提供预测服务
    • 使用 REST API 处理预测 HTTP 请求
    • 调用预测系统进行响应
• 服务选项：
  • 1. 部署到虚拟机，通过增加实例来扩展规模
  • 2. 以容器形式部署，通过编排技术实现扩展
    • 容器
      • Docker
    • 容器编排：
      • Kubernetes（目前最流行）
      • MESOS
      • Marathon
  • 3. 将代码部署为“无服务器函数”
  • 4. 通过 模型服务 解决方案进行部署
• 模型服务：
  • 面向机器学习模型的专业化 Web 部署
  • 批量处理请求以进行 GPU 推理
  • 框架：
    • Tensorflow Serving
    • MXNet Model Server
    • Clipper（伯克利团队）
    • SaaS 解决方案
      • Seldon：可在 Kubernetes 上部署并扩展任何框架构建的模型
      • Algorithmia
• 决策：CPU 还是 GPU？
  • CPU 推理：
    • 如果能满足需求，优先选择 CPU 推理。
    • 可通过增加服务器数量或采用无服务器架构来扩展规模。
  • GPU 推理：
    • TF Serving 或 Clipper
    • 自适应批处理非常有用
• （附加）部署 Jupyter Notebook：
  • Kubeflow Fairing 是一个混合部署工具包，可以让你部署你的 Jupyter Notebook 代码！

4.5 服务网格与流量路由

• 从单体应用向分布式微服务架构过渡可能充满挑战。
• 服务网格（由一组微服务组成的网络）能够降低此类部署的复杂性，并减轻开发团队的压力。
  • Istio：一种服务网格，可在不修改或仅少量修改服务代码的情况下，轻松创建具有负载均衡、服务间身份验证和监控功能的服务网络。

4.4. 监控：

• 监控的目的：
  • 对宕机、错误和分布漂移发出警报
  • 捕捉服务和数据回归问题
• 云服务商提供的解决方案相当不错
• Kiali：Istio 的可观测性控制台，具备服务网格配置能力。它可以回答以下问题：微服务之间是如何连接的？它们的性能如何？

我们完成了吗？

4.5. 在嵌入式和移动设备上部署

• 主要挑战：内存占用和计算资源限制
• 解决方案：
  • 量化
  • 减小模型尺寸
    • MobileNets
  • 知识蒸馏
    • DistillBERT（用于 NLP）
• 嵌入式和移动框架：
  • Tensorflow Lite
  • PyTorch Mobile
  • Core ML
  • ML Kit
  • FRITZ
  • OpenVINO
• 模型转换：
  • 开放神经网络交换格式（ONNX）：深度学习模型的开源格式

4.6. 一体化解决方案

• Tensorflow Extended (TFX)
• Michelangelo（Uber）
• Google Cloud AI Platform
• Amazon SageMaker
• Neptune
• FLOYD
• Paperspace
• Determined AI
• Domino 数据实验室

Tensorflow Extended (TFX)

[TBD]

Airflow 和 KubeFlow ML 流水线

[TBD]

其他有用链接：

• 构建实用深度学习系统的经验教训
• 机器学习：技术债务中的高息信用卡

贡献指南

参考文献：

[1]: 全栈深度学习训练营，2019 年 11 月。

[2]: 高级 KubeFlow 研讨会由 Pipeline.ai 组织，2019 年。

[3]: TFX：生产环境中的真实世界机器学习

Production-Level-Deep-Learning 快速上手指南

注意：Production-Level-Deep-Learning 并非一个可直接安装运行的软件包或库，而是一份工程实践指南与知识库。它汇总了构建生产级深度学习系统所需的组件、工具链推荐及最佳实践。

本指南将指导你如何基于该仓库的建议，搭建一套完整的生产级深度学习开发环境。

1. 环境准备

在开始构建生产级流水线之前，请确保你的开发环境满足以下基础要求。

系统要求

• 操作系统: Linux (推荐 Ubuntu 20.04/22.04) 或 macOS。生产环境通常部署在 Linux 服务器上。
• 硬件资源:
  • 开发阶段: 建议配备至少 4 块 Turing 架构（如 RTX 2080/3080）或同等性能的 GPU 工作站。
  • 训练/评估: 对于大规模实验，建议使用云实例（AWS, GCP）或共享集群，需支持 Docker 和 Kubernetes。
• 编程语言: Python 3.8+ (业界标准)。

前置依赖

你需要安装以下核心工具以支撑指南中推荐的各个模块（数据管理、工作流编排、实验追踪等）：

• 版本控制: git
• 容器化: docker 及 docker-compose
• 编排工具: kubectl (若使用 Kubernetes/Kubeflow)
• 包管理: pip 或 conda
• 编辑器: VS Code (推荐，支持远程 SSH 开发) 或 Vim/Emacs

国内加速建议：

• Python 包: 配置清华源或阿里源加速 pip 安装。

  pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
  

• Docker 镜像: 配置阿里云或网易云镜像加速器。
• Git 克隆: 若访问 GitHub 缓慢，可使用 hub.fastgit.org 等镜像地址。

2. 安装步骤

由于本项目是资料库而非软件，"安装"过程实质上是获取指南内容并部署推荐的核心工具链。

第一步：获取指南源码

克隆仓库到本地，以便查阅详细的架构图和工具列表。

git clone https://github.com/alirezadir/Production-Level-Deep-Learning.git
cd Production-Level-Deep-Learning

第二步：部署核心工具链 (示例)

根据指南中的 "Full stack pipeline" 建议，以下是构建最小可行生产环境所需的关键组件安装命令。

1. 数据版本控制 (DVC)

用于管理模型中的数据版本，确保“代码 + 数据”可复现。

pip install dvc[s3] 
# 初始化当前项目
dvc init
# 配置远程存储 (以 S3 为例，国内可用阿里云 OSS 兼容接口)
dvc remote add -d myremote s3://my-bucket/path

2. 工作流编排 (Airflow)

用于管理数据处理和训练任务的依赖关系 (DAG)。

# 设置 Airflow 主目录
export AIRFLOW_HOME=~/airflow
# 安装 Apache Airflow (建议指定版本)
pip install apache-airflow==2.7.0
# 初始化数据库
airflow db init
# 创建管理员用户
airflow users create \
    --username admin \
    --firstname Admin \
    --lastname User \
    --role Admin \
    --email admin@example.com \
    --password admin

3. 实验管理 (MLflow)

用于记录参数、指标和模型产物。

pip install mlflow
# 启动本地 MLflow 服务
mlflow ui --host 0.0.0.0 --port 5000

4. 超参数调优 (Ray Tune)

用于规模化超参数搜索。

pip install ray[tune]

3. 基本使用

本项目的“使用”是指参照其思维模型和工具链组合来启动你的机器学习项目。

场景：启动一个新的 CV/NLP 项目

1. 项目规划 (Mental Model)

参考仓库中的 images/prioritize.png，在写代码前确认：

• 高影响力: 该任务是否处于流程瓶颈？自动化是否能显著降低成本？
• 低成本: 数据是否可得？性能要求是否在合理范围内？

2. 数据管理流程

不要直接使用原始数据训练。遵循指南建议的流水线：

1. 存储: 将二进制数据（图片/音频）存入对象存储 (如 MinIO/S3)，元数据存入 PostgreSQL。
2. 标注: 使用 Labelbox 或 Prodigy 进行标注，或采用主动学习策略。
3. 版本化: 使用 DVC 跟踪数据集变更。

   # 添加数据到 DVC 跟踪
   dvc add data/raw_images
   # 提交到 git (此时只提交 .dvc 文件)
   git add data/raw_images.dvc .gitignore
   git commit -m "Add initial dataset v1"
   

3. 构建训练流水线 (Workflow)

使用 Airflow 定义 DAG，确保预处理完成后才触发训练。

• 简单示例逻辑 (伪代码):

  # airflow_dag.py
  preprocess_task = BashOperator(task_id='preprocess', bash_command='python preprocess.py')
  train_task = BashOperator(task_id='train', bash_command='python train.py')
  
  preprocess_task >> train_task
  

4. 实验与调优

在训练脚本中集成 MLflow 和 Ray Tune。

• 代码集成示例:

  import mlflow
  import ray
  from ray import tune
  
  # 开启实验记录
  mlflow.set_experiment("production_cv_model")
  
  def train_model(config):
      with mlflow.start_run():
          # 记录参数
          mlflow.log_params(config)
          # ... 执行训练逻辑 ...
          accuracy = 0.95 
          # 记录指标
          mlflow.log_metric("accuracy", accuracy)
          return {"accuracy": accuracy}
  
  # 启动超参搜索
  analysis = tune.run(
      train_model,
      config={
          "lr": tune.grid_search([0.001, 0.01]),
          "batch_size": tune.choice([32, 64])
      },
      num_samples=5
  )
  

5. 模型部署准备

当实验成功后，利用指南推荐的 TensorFlow Serving 或 TorchServe (配合 Docker/Kubernetes) 进行模型封装，而非直接导出脚本。

---

提示：详细的技术选型对比图（如框架对比、基础设施概览）请查看本仓库 images/ 目录下的原始图表。