MLOps 课程

学习如何将机器学习与软件工程相结合，以设计、开发、部署并迭代生产级的机器学习应用。

• 课程：https://madewithml.com/
• 代码：GokuMohandas/Made-With-ML

概述

在本课程中，我们将从实验阶段（模型设计 + 开发）过渡到生产阶段（模型部署 + 迭代）。我们将通过逐步构建能够支持我们打造一个可靠生产系统的各个组件来实现这一目标。

  请务必观看下方视频，快速了解我们将要构建的内容。

• 💡 第一性原理：在直接进入代码之前，我们会对每一个机器学习概念建立基于第一性原理的理解。
• 💻 最佳实践：在开发和部署机器学习模型的过程中，我们将践行软件工程的最佳实践。
• 📈 扩展性：无需学习全新的编程语言，即可在 Python 中轻松扩展机器学习工作负载（数据处理、训练、调参、服务等）。
• ⚙️ MLOps：在构建端到端机器学习系统的过程中，我们将连接 MLOps 的各个组件（跟踪、测试、服务、编排等）。
• 🚀 从开发到生产：学习如何在不更改代码或基础设施管理的情况下，快速且可靠地从开发阶段过渡到生产阶段。
• 🐙 CI/CD：学习如何创建成熟的 CI/CD 流水线，以模块化的方式持续训练和部署更优秀的模型，并与任何技术栈无缝集成。

目标受众

机器学习并不是一个独立的行业，而是一种强大的数据思维模式，它并不局限于某一类人群。

• 👩‍💻 所有开发者：无论是软件/基础设施工程师还是数据科学家，机器学习正日益成为您所开发产品中的关键组成部分。
• 👩‍🎓 大学毕业生：学习行业所需的实用技能，弥合大学课程与行业期望之间的差距。
• 👩‍💼 产品/管理层：希望打下坚实的技术基础，从而能够构建出令人惊叹且可靠的机器学习驱动产品的人士。

环境搭建

请务必访问课程页面，以获取关于本仓库内容更为详细的介绍。对于以下各部分，我们将提供本地笔记本电脑和 Anyscale 集群两种环境的说明，请根据您使用的环境切换 ► 下拉菜单（默认会显示 Anyscale 的说明）。如果您希望通过 Anyscale 来运行本课程——我们将为您提供架构、计算资源（GPU）以及社区支持，让您在一个周末内掌握所有知识——欢迎加入我们即将开启的直播班级 → 在此报名！

集群

我们首先将设置集群的环境和计算配置。

- 工作空间名称：`madewithml`
- 项目：`madewithml`
- 集群环境名称：`madewithml-cluster-env`
# 切换“从已保存配置中选择”
- 计算配置：`madewithml-cluster-compute`

Git 设置

按照以下步骤创建一个仓库：创建新仓库 → 命名为 Made-With-ML → 勾选 添加 README 文件（非常重要，因为这会创建一个 main 分支）→ 点击 创建仓库（向下滚动）

现在我们可以克隆包含所有代码的仓库：

git clone https://github.com/GokuMohandas/Made-With-ML.git .
git remote set-url origin https://github.com/GITHUB_USERNAME/Made-With-ML.git  # <-- 将此处替换为您的用户名
git checkout -b dev

虚拟环境

export PYTHONPATH=$PYTHONPATH:$PWD
python3 -m venv venv  # 推荐使用 Python 3.10
source venv/bin/activate  # Windows 上：venv\Scripts\activate
python3 -m pip install --upgrade pip setuptools wheel
python3 -m pip install -r requirements.txt
pre-commit install
pre-commit autoupdate

export PYTHONPATH=$PYTHONPATH:$PWD
pre-commit install
pre-commit autoupdate

笔记本

首先，探索 jupyter notebook，以交互式的方式逐步了解核心机器学习工作负载。

# 启动笔记本
jupyter lab notebooks/madewithml.ipynb

脚本

现在，我们将使用遵循软件工程最佳实践（测试、文档、日志记录、服务化、版本控制等）的整洁 Python 脚本执行相同的工作负载。我们在笔记本中实现的代码将被重构为以下脚本：

madewithml
├── config.py
├── data.py
├── evaluate.py
├── models.py
├── predict.py
├── serve.py
├── train.py
├── tune.py
└── utils.py

注意：请根据您系统的资源调整下面的 --num-workers、--cpu-per-worker 和 --gpu-per-worker 输入参数值。例如，如果您在本地笔记本电脑上运行，合理的配置可能是 --num-workers 6 --cpu-per-worker 1 --gpu-per-worker 0。

训练

export EXPERIMENT_NAME="llm"
export DATASET_LOC="https://raw.githubusercontent.com/GokuMohandas/Made-With-ML/main/datasets/dataset.csv"
export TRAIN_LOOP_CONFIG='{"dropout_p": 0.5, "lr": 1e-4, "lr_factor": 0.8, "lr_patience": 3}'
python madewithml/train.py \
    --experiment-name "$EXPERIMENT_NAME" \
    --dataset-loc "$DATASET_LOC" \
    --train-loop-config "$TRAIN_LOOP_CONFIG" \
    --num-workers 1 \
    --cpu-per-worker 3 \
    --gpu-per-worker 1 \
    --num-epochs 10 \
    --batch-size 256 \
    --results-fp results/training_results.json

调参

export EXPERIMENT_NAME="llm"
export DATASET_LOC="https://raw.githubusercontent.com/GokuMohandas/Made-With-ML/main/datasets/dataset.csv"
export TRAIN_LOOP_CONFIG='{"dropout_p": 0.5, "lr": 1e-4, "lr_factor": 0.8, "lr_patience": 3}'
export INITIAL_PARAMS="[{\"train_loop_config\": $TRAIN_LOOP_CONFIG}]"
python madewithml/tune.py \
    --experiment-name "$EXPERIMENT_NAME" \
    --dataset-loc "$DATASET_LOC" \
    --initial-params "$INITIAL_PARAMS" \
    --num-runs 2 \
    --num-workers 1 \
    --cpu-per-worker 3 \
    --gpu-per-worker 1 \
    --num-epochs 10 \
    --batch-size 256 \
    --results-fp results/tuning_results.json

实验跟踪

我们将使用 MLflow 来跟踪我们的实验并存储模型，同时使用 MLflow Tracking UI 查看我们的实验。我们一直将实验保存到本地目录，但请注意，在实际生产环境中，我们会有一个集中位置来存储所有实验。为团队成员搭建一个自己的 MLflow 服务器以跟踪他们的实验非常简单且成本低廉，或者也可以使用托管解决方案，如 Weights & Biases、Comet 等。

export MODEL_REGISTRY=$(python -c "from madewithml import config; print(config.MODEL_REGISTRY)")
mlflow server -h 0.0.0.0 -p 8080 --backend-store-uri $MODEL_REGISTRY

APP_PORT=8080
echo https://$APP_PORT-port-$ANYSCALE_SESSION_DOMAIN

评估

export EXPERIMENT_NAME="llm"
export RUN_ID=$(python madewithml/predict.py get-best-run-id --experiment-name $EXPERIMENT_NAME --metric val_loss --mode ASC)
export HOLDOUT_LOC="https://raw.githubusercontent.com/GokuMohandas/Made-With-ML/main/datasets/holdout.csv"
python madewithml/evaluate.py \
    --run-id $RUN_ID \
    --dataset-loc $HOLDOUT_LOC \
    --results-fp results/evaluation_results.json

{
  "timestamp": "2023年6月9日 上午9:26:18",
  "run_id": "6149e3fec8d24f1492d4a4cabd5c06f6",
  "overall": {
    "precision": 0.9076136428670714,
    "recall": 0.9057591623036649,
    "f1": 0.9046792827719773,
    "num_samples": 191.0
  },
...

推理

# 获取运行 ID
export EXPERIMENT_NAME="llm"
export RUN_ID=$(python madewithml/predict.py get-best-run-id --experiment-name $EXPERIMENT_NAME --metric val_loss --mode ASC)
python madewithml/predict.py predict \
    --run-id $RUN_ID \
    --title "使用 Transformer 进行迁移学习" \
    --description "在文本分类任务中使用 Transformer 进行迁移学习。"

[{
  "prediction": [
    "自然语言处理"
  ],
  "probabilities": {
    "计算机视觉": 0.0009767753,
    "MLOps": 0.0008223939,
    "自然语言处理": 0.99762577,
    "其他": 0.000575123
  }
}]

服务

# 启动
ray start --head

# 设置
export EXPERIMENT_NAME="llm"
export RUN_ID=$(python madewithml/predict.py get-best-run-id --experiment-name $EXPERIMENT_NAME --metric val_loss --mode ASC)
python madewithml/serve.py --run_id $RUN_ID

# 通过 cURL
curl -X POST -H "Content-Type: application/json" -d '{
  "title": "使用 Transformer 进行迁移学习",
  "description": "在文本分类任务上使用 Transformer 进行迁移学习。"
}' http://127.0.0.1:8000/predict

# 通过 Python
import json
import requests
title = "使用 Transformer 进行迁移学习"
description = "在文本分类任务上使用 Transformer 进行迁移学习。"
json_data = json.dumps({"title": title, "description": description})
requests.post("http://127.0.0.1:8000/predict", data=json_data).json()

ray stop  # 关闭

export HOLDOUT_LOC="https://raw.githubusercontent.com/GokuMohandas/Made-With-ML/main/datasets/holdout.csv"
curl -X POST -H "Content-Type: application/json" -d '{
    "dataset_loc": "https://raw.githubusercontent.com/GokuMohandas/Made-With-ML/main/datasets/holdout.csv"
  }' http://127.0.0.1:8000/evaluate

在 Anyscale Workspaces 中，Ray 已经在运行，因此我们无需像在本地那样手动启动或关闭。

```bash
# 设置
export EXPERIMENT_NAME="llm"
export RUN_ID=$(python madewithml/predict.py get-best-run-id --experiment-name $EXPERIMENT_NAME --metric val_loss --mode ASC)
python madewithml/serve.py --run_id $RUN_ID
```

在应用运行期间，我们可以通过 cURL、Python 等方式使用它：

```bash
# 通过 cURL
curl -X POST -H "Content-Type: application/json" -d '{
    "title": "使用 Transformer 进行迁移学习",
    "description": "在文本分类任务上使用 Transformer 进行迁移学习。"
  }' http://127.0.0.1:8000/predict
```

```python
# 通过 Python
import json
import requests
title = "使用 Transformer 进行迁移学习"
description = "在文本分类任务上使用 Transformer 进行迁移学习。"
json_data = json.dumps({"title": title, "description": description})
requests.post("http://127.0.0.1:8000/predict", data=json_data).json()
```

测试

# 代码
python3 -m pytest tests/code --verbose --disable-warnings

# 数据
export DATASET_LOC="https://raw.githubusercontent.com/GokuMohandas/Made-With-ML/main/datasets/dataset.csv"
pytest --dataset-loc=$DATASET_LOC tests/data --verbose --disable-warnings

# 模型
export EXPERIMENT_NAME="llm"
export RUN_ID=$(python madewithml/predict.py get-best-run-id --experiment-name $EXPERIMENT_NAME --metric val_loss --mode ASC)
pytest --run-id=$RUN_ID tests/model --verbose --disable-warnings

# 覆盖率
python3 -m pytest --cov madewithml --cov-report html

生产环境

从这一点开始，为了将我们的应用程序部署到生产环境，我们需要使用 Anyscale 平台，或者在一个由您自己管理的 云虚拟机 或 本地集群 上运行（使用 Ray）。如果不使用 Anyscale，相关命令会略有不同（参见 Ray 文档），但基本概念是相同的。

如果您不想自己搭建所有这些环境，我们强烈建议您加入我们的即将开课的直播班{:target="_blank"}，我们将为您准备好包含所有基础设施的环境，让您专注于机器学习本身。

认证

如果我们使用 Anyscale Workspaces，以下凭据会自动为我们设置。在 Workspaces 中，我们不需要显式设置这些凭据；但在本地或在其他未配置 Anyscale Jobs 和 Services 的集群上运行时，则需要设置。

export ANYSCALE_HOST=https://console.anyscale.com
export ANYSCALE_CLI_TOKEN=$YOUR_CLI_TOKEN  # 从 Anyscale 凭据页面获取

集群环境

集群环境决定了我们的工作负载将在哪里执行（操作系统、依赖项等）。我们已经为我们创建了这个集群环境，但您也可以自行创建或更新一个。

export CLUSTER_ENV_NAME="madewithml-cluster-env"
anyscale cluster-env build deploy/cluster_env.yaml --name $CLUSTER_ENV_NAME

计算配置

计算配置决定了我们的工作负载将在哪些资源上执行。我们已经为我们创建了这个计算配置，但您也可以自行创建。

export CLUSTER_COMPUTE_NAME="madewithml-cluster-compute"
anyscale cluster-compute create deploy/cluster_compute.yaml --name $CLUSTER_COMPUTE_NAME

Anyscale 作业

现在我们可以开始执行我们的机器学习工作负载了。我们决定将所有工作负载合并为一个作业，当然也可以为每个工作负载（训练、评估等）分别创建单独的作业。首先，我们需要编辑 workloads.yaml 文件中的 $GITHUB_USERNAME 占位符：

runtime_env:
  working_dir: .
  upload_path: s3://madewithml/$GITHUB_USERNAME/jobs  # <--- 更改用户名（区分大小写）
  env_vars:
    GITHUB_USERNAME: $GITHUB_USERNAME  # <--- 更改用户名（区分大小写）

这里的 runtime_env 指定了我们将当前的工作目录上传到 S3 存储桶，以便在执行 Anyscale 作业时，所有工作节点都能访问所需的代码。GITHUB_USERNAME 用于稍后将工作负载的结果保存到 S3，以便后续检索（例如用于服务部署）。

现在我们可以提交作业来执行我们的机器学习工作负载：

anyscale job submit deploy/jobs/workloads.yaml

Anyscale 服务

在机器学习工作负载执行完毕后，我们可以将模型部署到生产环境中进行服务提供。与 Anyscale 作业配置类似，务必在 serve_model.yaml 中更改 $GITHUB_USERNAME。

ray_serve_config:
  import_path: deploy.services.serve_model:entrypoint
  runtime_env:
    working_dir: .
    upload_path: s3://madewithml/$GITHUB_USERNAME/services  # <--- 更改用户名（区分大小写）
    env_vars:
      GITHUB_USERNAME: $GITHUB_USERNAME  # <--- 更改用户名（区分大小写）

现在我们可以启动服务：

anyscale service deploy deploy/services/serve_model.yaml

部署服务

anyscale service rollout -f deploy/services/serve_model.yaml

查询

curl -X POST -H "Content-Type: application/json" -H "Authorization: Bearer $SECRET_TOKEN" -d '{ "title": "使用 Transformer 进行迁移学习", "description": "在文本分类任务上利用 Transformer 进行迁移学习。" }' $SERVICE_ENDPOINT/predict/

回滚（回退到服务的上一版本）

anyscale service rollback -f $SERVICE_CONFIG --name $SERVICE_NAME

终止

anyscale service terminate --name $SERVICE_NAME

### CI/CD

我们不会每次代码变更时都手动部署应用。相反，我们将使用 GitHub Actions 自动化这一流程！

<div align="center">
  <img src="https://oss.gittoolsai.com/images/GokuMohandas_mlops-course_readme_298a6c8e97a7.png">
</div>

1. 首先，我们需要将必要的凭据添加到 GitHub 仓库的 [`/settings/secrets/actions`](https://github.com/GokuMohandas/Made-With-ML/settings/secrets/actions) 页面中。

``` bash
export ANYSCALE_HOST=https://console.anyscale.com
export ANYSCALE_CLI_TOKEN=$YOUR_CLI_TOKEN  # 从 https://console.anyscale.com/o/madewithml/credentials 获取

2. 现在我们可以对代码进行修改（不在 main 分支上），并将其推送到 GitHub。不过，在将代码推送到仓库之前，我们需要先使用凭据进行身份验证：

git config --global user.name "你的名字"  # <-- 替换为你的姓名
git config --global user.email you@example.com  # <-- 替换为你的邮箱
git add .
git commit -m ""  # <-- 替换为你的提交信息
git push origin dev

此时系统会提示你输入用户名和密码（个人访问令牌）。请按照以下步骤获取个人访问令牌：新建 GitHub 个人访问令牌 → 添加名称 → 启用 repo 和 workflow 权限 → 点击“生成令牌”（向下滚动）→ 复制令牌并在提示输入密码时粘贴。

3. 接下来，我们可以从该分支创建一个 Pull Request 到 main 分支，这将触发 workloads 工作流。如果工作流（Anyscale Jobs）成功完成，它会在 PR 上直接生成包含训练和评估结果的评论。

4. 如果我们对结果满意，就可以将 PR 合并到 main 分支。这将触发 serve 工作流，从而将我们的新服务部署到生产环境！

持续学习

有了 CI/CD 流程来部署应用，我们现在可以专注于持续改进模型。基于此基础，我们可以轻松扩展以连接定时任务（cron）、数据管道、通过监控检测到的数据漂移、在线评估等。此外，我们还可以轻松添加更多上下文，例如直接在 PR 中将任何实验与当前生产中的模型进行对比等。

常见问题解答

Jupyter Notebook 内核

在配置 Jupyter Notebook 的内核时遇到问题吗？默认情况下，Jupyter 会使用我们虚拟环境中的内核，但我们也可以手动将其添加到 Jupyter 中：

python3 -m ipykernel install --user --name=venv

现在我们可以打开笔记本 → 内核（顶部菜单栏）→ 更改内核 → venv。如果需要删除此内核，可以执行以下操作：

jupyter kernelspec list
jupyter kernelspec uninstall venv

MLOps Course 快速上手指南

本指南旨在帮助开发者快速搭建环境并运行 MLOps Course，学习如何将机器学习与软件工程结合，构建可可靠的生产级 ML 应用。

环境准备

系统要求

• 操作系统: Linux, macOS 或 Windows (WSL 推荐)
• Python 版本: 推荐 Python 3.10 (可使用 pyenv 管理版本)
• 硬件资源:
  • 本地运行: 任意笔记本电脑即可（单机器模式），但训练速度较慢。建议配置至少 4 核 CPU。
  • GPU 加速: 若需加速训练，建议具备 NVIDIA GPU 及相应驱动。
• 网络: 需能访问 GitHub、HuggingFace 及 PyPI 源（国内用户建议配置镜像加速）。

前置依赖

• Git
• pip, setuptools, wheel
• Jupyter Lab (用于交互式探索)

💡 国内加速建议： 在设置环境变量或使用 pip 时，推荐使用清华或阿里镜像源以提升下载速度：

export PIP_INDEX_URL=https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆代码仓库

首先创建一个新的 GitHub 仓库（命名为 Made-With-ML 并勾选 "Add a README file" 以生成 main 分支），然后克隆代码：

git clone https://github.com/GokuMohandas/Made-With-ML.git .
git remote set-url origin https://github.com/GITHUB_USERNAME/Made-With-ML.git  # <-- 将 GITHUB_USERNAME 替换为你的用户名
git checkout -b dev

2. 配置虚拟环境与依赖

本项目推荐在虚拟环境中运行。

本地环境 (Local):

export PYTHONPATH=$PYTHONPATH:$PWD
python3 -m venv venv
source venv/bin/activate  # Windows 用户请使用: venv\Scripts\activate

# 升级基础工具并安装依赖
python3 -m pip install --upgrade pip setuptools wheel
python3 -m pip install -r requirements.txt

# 安装并更新 pre-commit 钩子
pre-commit install
pre-commit autoupdate

Anyscale 云环境 (可选): 如果你使用 Anyscale Workspace，环境已预配置，只需执行：

export PYTHONPATH=$PYTHONPATH:$PWD
pre-commit install
pre-commit autoupdate

基本使用

项目提供了两种使用方式：Jupyter Notebook 交互式探索 和 Python 脚本工程化实践。

方式一：交互式探索 (Notebook)

适合初学者理解核心工作流。

启动 Jupyter Lab:

jupyter lab notebooks/madewithml.ipynb

注：Anyscale 用户可点击工作台右上角的 Jupyter 图标直接进入。

方式二：工程化脚本运行 (推荐)

将流程拆分为独立的 Python 模块，符合生产级最佳实践。以下是最小化的运行示例。

1. 模型训练 (Training)

运行训练脚本，将结果保存至本地 JSON 文件。 (注意：根据你的机器资源调整 --num-workers, --cpu-per-worker, --gpu-per-worker 参数)

export EXPERIMENT_NAME="llm"
export DATASET_LOC="https://raw.githubusercontent.com/GokuMohandas/Made-With-ML/main/datasets/dataset.csv"
export TRAIN_LOOP_CONFIG='{"dropout_p": 0.5, "lr": 1e-4, "lr_factor": 0.8, "lr_patience": 3}'

python madewithml/train.py \
    --experiment-name "$EXPERIMENT_NAME" \
    --dataset-loc "$DATASET_LOC" \
    --train-loop-config "$TRAIN_LOOP_CONFIG" \
    --num-workers 1 \
    --cpu-per-worker 3 \
    --gpu-per-worker 1 \
    --num-epochs 10 \
    --batch-size 256 \
    --results-fp results/training_results.json

2. 实验追踪 (Experiment Tracking)

启动 MLflow 服务器以查看训练指标和模型版本。

export MODEL_REGISTRY=$(python -c "from madewithml import config; print(config.MODEL_REGISTRY)")
mlflow server -h 0.0.0.0 -p 8080 --backend-store-uri $MODEL_REGISTRY

• 本地访问: 打开浏览器访问 http://localhost:8080/
• Anyscale 访问: 运行 echo https://8080-port-$ANYSCALE_SESSION_DOMAIN 获取公开链接。

3. 模型评估 (Evaluation)

使用保留数据集评估最佳模型的表现。

export EXPERIMENT_NAME="llm"
# 自动获取验证集损失最小的 Run ID
export RUN_ID=$(python madewithml/predict.py get-best-run-id --experiment-name $EXPERIMENT_NAME --metric val_loss --mode ASC)
export HOLDOUT_LOC="https://raw.githubusercontent.com/GokuMohandas/Made-With-ML/main/datasets/holdout.csv"

python madewithml/evaluate.py \
    --run-id $RUN_ID \
    --dataset-loc $HOLDOUT_LOC \
    --results-fp results/evaluation_results.json

4. 模型推理 (Inference)

加载训练好的模型进行预测。

export EXPERIMENT_NAME="llm"
export RUN_ID=$(python madewithml/predict.py get-best-run-id --experiment-name $EXPERIMENT_NAME --metric val_loss --mode ASC)

python madewithml/predict.py predict \
    --run-id $RUN_ID \
    --title "Transfer learning with transformers" \
    --description "Using transformers for transfer learning on text classification tasks."

输出示例:

[{
  "prediction": ["natural-language-processing"],
  "probabilities": {
    "computer-vision": 0.0009767753,
    "mlops": 0.0008223939,
    "natural-language-processing": 0.9976
  }
}]