在 GitHub上查看

分享至：

与作者联系：

下载文件 （右键选择“另存为”）

---

Vertex AI 用于机器学习运维

2025年更新： 该仓库正朝着以 MLOps 为中心的预测性和生成式 AI 运维方法发展。

仓库的主要重点是以下领域的新内容：

• MLOps
• 框架
• 应用*
  • 主要是应用型生成式 AI 和应用型预测

2025年将有哪些变化：

• /MLOps 文件夹中将包含更多 MLOps 内容
• Applied GenAI 文件夹中将对生成式 AI 工具进行详细回顾
• Frameworks 文件夹中将提供大量框架特定的工作流
• 所有编号文件夹将被迁移至这些主文件夹
• 所有“应用*”文件夹将合并为一个“应用工作流”文件夹，并按主题划分子文件夹：生成式 AI、预测等
• 本 readme.md 文件将被完全重写
• 被认为过时的内容将被移至名为 legacy 的子文件夹，并更新相关链接。

2024年更新： 本仓库正在从针对各种框架的端到端工作流，演变为以 MLOps 为导向的预测性和生成式 AI 运维开发方法。新方法正在 MLOps 文件夹中开发。一旦接近完成，本仓库的内容将重新组织为以下结构：

• MLOps
  • 流水线
  • 实验
  • 特征存储
  • 模型监控
  • …
• 应用示例
  • 预测
  • 生产式 AI
  • …
• 框架工作流
  • BigQuery ML
  • TensorFlow
  • scikit-learn
  • …

---

这是本仓库转型前的原始自述文件。待内容重组完成后并将上述信息整合进去后，此文件将被删除。

👋 我是 Mike

我想与您分享并启用来自 Google Cloud 的 Vertex AI。这里的目标是分享一套全面的机器学习端到端工作流，涵盖从数据到模型再到服务和管理的全过程，甚至实现流程自动化。无论您的数据类型、技能水平或框架偏好如何，您都能在这里找到有用的内容。您甚至可以提出自己的需求，我可能会将其纳入后续更新中！

点击观看 YouTube 视频

点击 此处 查看本仓库当前播放列表

---

跟踪

为了更好地了解哪些内容对用户最有帮助，本仓库在每个 Markdown（.md）和笔记本（.ipynb）文件中都使用了跟踪像素。不会收集任何用户或位置数据。 所记录的信息仅包括内容已被渲染/查看，从而为我们提供每日使用次数统计。如果您对此有任何疑虑，请在 仓库讨论区 中提出，我也很乐意为您提供不含跟踪功能的分支版本。

仓库中提供了脚本 pixel_remove.py，位于 pixel 文件夹内，可用于从您本地副本中移除此类跟踪。此外，本自述文件还包含了创建跟踪功能的完整代码，供您参考复制或深入理解。

---

本仓库采用的方法

本仓库以工作流的形式呈现，主要使用交互式 Python 笔记本文件（.ipynb）。为什么选择这种方式呢？因为这些笔记本易于审查、分享和迁移，同时兼具代码与叙述性内容。叙述部分可以使用纯文本、Markdown 和/或 HTML 编写，从而轻松实现可视化说明。这进一步强化了本仓库的目标：提供易于访问、可移植的信息，并作为您自身工作的良好起点。

在笔记本中，代码的执行是由本地计算资源驱动的。在本仓库中，这意味着当前的 Python 代码是在笔记本所关联的计算环境中运行的。该仓库中的代码大量依赖于在 GCP 中编排服务，而不是在笔记本所在的本地环境中进行数据计算。因此，这些笔记本被设计为可以在较小的机器规格上运行，例如 n1-standard2 实例。而繁重的训练和推理任务则由 Vertex AI、BigQuery 等 Google Cloud 服务来完成。您甚至会发现一些笔记本不仅编写代码，还会将代码部署到 Vertex AI 自定义训练和 Vertex AI 流水线等服务中。

此外，仓库中也有一些部分使用其他语言，如 R，以及创建与笔记本无关的外部文件，例如 Dockerfile、.py 脚本和模块等。

本仓库中的代码具有明确的观点和风格，既不完全适合直接投入生产环境，也不仅仅是临时性的探索性代码。它介于从探索到部署的连续体之间，目标是从“Hello World”逐步过渡到 CI/CD/CT 流程。在我们的日常数据科学工作中，这一过程可以大致分为以下阶段：

在 探索 阶段，一切都是边写代码边尝试。随着探索的深入，某些想法逐渐显现出价值，需要进一步开发。

在 开发 阶段，通常采取以下步骤：

• 让其运行起来
  • 构建一个可用的端到端流程
• 进行代码清理
  • 重新审视代码，移除不再需要的部分，并根据新学到的知识重新组织结构
• 使其通用化
  • 引入参数化
  • 使用函数
  • 控制流程：开始加入逻辑以检查边界条件
• 进行优化
  • 更好地利用数据结构来优化执行期间的数据处理
  • 在兼顾可读性（即可维护性）和计算效率的前提下，优化执行时间

在许多情况下，从开发到 部署 的过程非常简单：

• 定时运行笔记本——这几乎相当于跳过了 开发 阶段
• 部署流水线
• 创建云函数

然而，不可避免的是，当某个工作流程展现出价值时，在真正 部署 之前往往还需要付出更多的努力：

• 错误处理
• 单元测试
• 将专用代码转化为通用代码：
  • 使用类
  • 更好地管理环境配置

那么，本仓库中的代码处于哪个阶段呢？它位于 开发 阶段的后期，具备良好的可读性和适应性。

---

目录

• 注意事项
• 概述
• Vertex AI
• 与 Vertex AI 交互
• 设置
• 实用章节
• 更多资源

---

注意事项

数据类型

• 表格：以行和列形式存储的结构化数据
• 语言：用于翻译和/或理解的文本
• 视觉：图像
• 视频

方便程度

• 使用预训练 API
• 自动化构建自定义模型
• 使用您选择的框架中的核心工具，实现端到端的自定义机器学习

框架偏好

• Scikit-learn
• XGBoost
• TensorFlow
• PyTorch
• Spark MLlib
• R
• Julia
• 更多！

---

概述

这是一个系列的工作流演示，它们使用相同的数据源，通过不同的框架和自动化手段来构建并部署同一个机器学习模型。这些演示旨在帮助您快速了解和学习 Vertex AI，并为新项目提供起点。

这些演示专注于工作流本身，不会深入探讨各个机器学习框架的具体细节，而是着重介绍如何与 Vertex AI 集成及实现自动化。如果您有更多工作流的想法或希望添加的细节，请随时告诉我！

为了更好地理解本仓库的内容，以下图表展示了内容的分类方式。

方向

预训练 API

预训练模型				AutoML
数据类型	预训练模型	预测类型	相关解决方案
文本	Cloud Translation API	检测、翻译	Cloud Text-to-Speech	AutoML Translation
	Cloud Natural Language API	实体（识别和标记）、情感分析、实体情感分析、语法分析、内容分类	Healthceare Natural Language API	AutoML 文本
图像	Cloud Vision API	裁剪提示、OCR、人脸检测、图像属性、标签检测、地标检测、徽标检测、目标定位、安全搜索、网页检测	Document AI Visual Inspection AI	AutoML 图像
音频	Cloud Media Translation API	实时语音翻译	Cloud Speech-to-Text
视频	Cloud Video Intelligence API	标签检测*、镜头检测*、露骨内容检测*、语音转录、目标跟踪*、文本检测、徽标检测、人脸检测、人员检测、名人识别	Vertex AI Vision	AutoML 视频

AutoML

AutoML
数据类型	AutoML	预测类型
表格	AutoML Tables	分类 二分类 多分类 回归 预测
图像	AutoML Image	分类 单标签 多标签 目标检测
视频	AutoML Video	分类 目标检测 动作识别
文本	AutoML Text	分类 单标签 多标签 实体抽取 情感分析
文本	AutoML Translation	翻译

带有训练数据

本工作专注于您拥有训练数据的情况：

概述

AutoML	BigQuery ML	Vertex AI	使用 AutoML、BigQuery ML 和开源 Prophet 进行预测

Vertex AI 用于机器学习训练

       

---

Vetex AI

Vetex AI 是一个端到端的模型开发平台。它由核心组件组成，这些组件使各种设计模式下的 MLOps 流程成为可能。

       

---

与 Vertex AI 交互

许多 Vertex AI 资源可以直接在 GCP 控制台 中查看和监控。Vertex AI 资源主要通过 Vertex AI API 创建和修改。

该 API 可通过以下方式访问：

• 使用 gcloud ai 的命令行，
• REST,
• gRPC,
• 或基于 gRPC 构建的 客户端库，适用于
  • Python,
  • Java, 和
  • Node.js。

本仓库中的笔记本主要使用 Python 客户端 aiplatform。偶尔也会使用 aiplatform.gapic、aiplatform_v1 和 aiplatform_v1beta1。

有关 API 版本、层次以及如何/何时使用每个版本的完整详细信息，请参阅此帮助说明。

安装 Vertex AI Python 客户端

pip install google-cloud-aiplatform

示例用法：列出 Vertex AI 模型注册表中的所有模型

PROJECT = 'statmike-mlops-349915'
REGION = 'us-central1'

# 使用 aiplatform 列出区域中项目的全部模型
from google.cloud import aiplatform
aiplatform.init(project = PROJECT, location = REGION)

model_list = aiplatform.Model.list()

---

设置

演示以一系列笔记本的形式呈现，最好在 JupyterLab 中运行。这些笔记本可以在 GitHub 上的此仓库 中直接查看，也可以克隆到您的 Vertex AI Workbench 实例 上。

选项 1：查看并使用单个文件

选择文件，并在您选择的浏览器或 IDE 中直接查看。这有助于您对内容有一个总体了解，并挑选出需要复制粘贴到项目中的部分。以下是获取此仓库内容本地副本的一些方法：

• 使用 Git：git clone https://github.com/statmike/vertex-ai-mlops
• 使用 wget 直接从 GitHub 下载单个文件：
  • 前往 GitHub.com 上的笔记本，右键点击下载链接，然后选择“复制链接地址”。
  • 或者，点击 GitHub 上的“Raw”按钮，然后复制加载后的 URL。
  • 在笔记本单元格中或直接在终端中运行以下命令（无需加 !）。请注意，URL 略有不同，它直接指向 GitHub 上的原始内容。
    • !wget "https://raw.githubusercontent.com/statmike/vertex-ai-mlops/main/<路径和文件名>.ipynb"
• 使用 Colab（以及即将推出的 Vertex AI Enterprise Colab）打开这些笔记本。许多笔记本的顶部都有可以直接在 Colab 中打开的按钮。不过，有些笔记本尚未具备此功能，还有一些使用本地 Docker，而 Colab 不支持 Docker。

选项 2：在 Vertex AI Workbench 上的 Notebook 中运行这些笔记本

简而言之：

在 Google Cloud 控制台中，选择或创建一个项目，然后转到 Vertex AI > Workbench > 实例

• 创建一个新的 Notebook 并打开 JupyterLab
• 使用 Git 菜单克隆此仓库，打开并运行 00 - Environment Setup.ipynb

1. 创建一个项目
   1. 链接，或者前往：控制台 > IAM 和管理 > 管理资源
   2. 点击“+ 创建项目”
   3. 提供名称、结算帐号、组织和位置
   4. 点击“创建”
2. 启用 API：Vertex AI API 和 Notebooks API
   1. 链接
      1. 或者，前往：
         1. 控制台 > Vertex AI，然后启用 API
         2. 再前往控制台 > Vertex AI > Workbench，然后启用 API
3. 使用 Vertex AI Workbench 实例 创建一个 Notebook：
   1. 前往：控制台 > Vertex AI > Workbench > 实例 - 直接链接
   2. 创建一个新的实例 - 说明
   3. 实例启动后，点击“Open JupyterLab”链接。
   4. 将此仓库克隆到 JupyterLab 实例中：
      1. 您可以选择：
         1. 前往“Git”菜单，选择“Clone a Repository”
         2. 或者在左侧工具栏上找到 Git 图标，点击“Clone a Repository”
      2. 输入此仓库的克隆 URI：https://github.com/statmike/vertex-ai-mlops.git
      3. 在文件浏览器中，您将看到名为“vertex-ai-mlops”的文件夹，其中包含了此仓库的所有文件
4. 为这些工作流设置 Notebook 环境
   1. 打开 notebook vertex-ai-mlops/00 - Environment Setup
   2. 按照说明运行各个单元格

相关资源：

• Google Cloud 项目
• Vertex AI 环境
• Vertex AI Workbench 简介
• 创建 Vertex AI Workbench 实例

---

有用的部分

• 学习机器学习
  • 我经常被问到：“我该如何学习机器学习？”有很多很好的答案……
• 探索
  • 这是一系列项目，用于探索机器学习领域中新的、对我来说是新事物的以及新兴的工具！
• 技巧
  • 关于如何使用该仓库和笔记本的技巧，包括构建容器、参数化作业以及与其他 GCP 服务交互等核心技能示例。这些技巧有助于扩展作业规模，并以 CI/CD 为重点进行开发。

---

类似本仓库的更多资源

这是我个人用于学习和分享 Vertex AI 的演示仓库。还有许多其他可用资源。在每个笔记本中，我都添加了一个资源部分和相关的培训部分。

• GitHub 真实场景的大量示例！ 由 @jcavezar 提供
• GitHub GoogleCloudPlatform/vertex-ai-samples
• GitHub GoogleCloudPlatform/mlops-with-vertex-ai
• Google Cloud 上的数据科学概述

Vertex AI MLOps 快速上手指南

本指南基于 vertex-ai-mlops 开源项目，旨在帮助开发者利用 Google Cloud Vertex AI 构建从数据准备、模型训练到部署监控的端到端机器学习运维（MLOps）工作流。本项目主要通过交互式 Python Notebook (.ipynb) 提供可复用的工作流示例。

环境准备

在开始之前，请确保满足以下系统要求和前置依赖：

系统要求

• Google Cloud Platform (GCP) 账号：已启用 Vertex AI、BigQuery 和 Cloud Storage API。
• 开发环境：
  • 推荐直接使用 Vertex AI Workbench (JupyterLab 实例)，这是最兼容的运行环境。
  • 或者本地环境需安装 Python 3.8+ 及 Jupyter Notebook/Lab。
• 权限配置：当前用户或服务账号需具备 Vertex AI User、Storage Admin 及相关资源的管理权限。

前置依赖

本项目核心依赖 Google Cloud SDK 和 Vertex AI Python 客户端库。若在非托管环境中运行，需安装以下基础包：

pip install google-cloud-aiplatform google-cloud-bigquery google-cloud-storage ipywidgets

注意：本仓库中的代码设计为在轻量级计算实例（如 n1-standard-2）上运行，繁重的训练和推理任务将自动卸载到 Vertex AI 和 BigQuery 服务执行，无需本地高性能 GPU。

安装步骤

本项目以代码仓库形式提供，无需传统的“安装”过程，只需克隆仓库并配置环境即可。

1. 克隆仓库

git clone https://github.com/statmike/vertex-ai-mlops.git
cd vertex-ai-mlops

2. 初始化 GCP 环境

如果您在本地或新的 Workbench 实例中运行，请先设置项目 ID 和区域：

export PROJECT_ID="your-gcp-project-id"
export REGION="us-central1"  # 或您选择的区域

gcloud config set project $PROJECT_ID
gcloud auth application-default login

3. 移除追踪像素（可选）

该仓库默认包含用于统计阅读量的追踪像素。如需纯净版代码，可运行提供的脚本移除：

python architectures/tracking/setup/pixel/pixel_remove.py

基本使用

本项目的核心内容是位于各个文件夹下的 .ipynb Notebook 文件，它们展示了不同框架（如 Scikit-learn, TensorFlow, PyTorch）和场景（如预测、生成式 AI）的完整工作流。

最简单的使用示例：运行一个端到端工作流

以下示例展示如何在 Vertex AI Workbench 中启动一个典型的自动化训练流程。假设我们要运行一个基于表格数据的 AutoML 或自定义模型训练示例。

1. 启动 JupyterLab 在 Google Cloud Console 中打开 Vertex AI Workbench 实例，或通过本地 Jupyter 打开克隆的目录。

2. 选择示例 Notebook 导航至 MLOps 或 Applied Workflows 文件夹（根据 2025 更新结构），选择一个适合您需求的 Notebook，例如涉及表格数据分类的示例。

3. 配置参数单元格 打开 Notebook 后，首先运行顶部的配置单元格，定义项目和资源名称：

PROJECT_ID = "your-gcp-project-id"
REGION = "us-central1"
DISPLAY_NAME = "my-mlops-demo"
BUCKET_NAME = f"{PROJECT_ID}-vertex-mlops"  # 确保此 Bucket 已存在

import vertexai
from vertexai.generative_models import GenerativeModel # 示例导入，具体依 Notebook 而定

vertexai.init(project=PROJECT_ID, location=REGION)

4. 执行工作流 按顺序运行 Notebook 中的单元格。这些单元格将自动执行以下操作：
   • 从 BigQuery 加载数据。
   • 创建 Vertex AI Dataset。
   • 提交 Training Pipeline (Custom Training 或 AutoML)。
   • 部署模型到 Endpoint。
   • 发送测试预测请求。

# 伪代码示例：提交训练任务
job = aiplatform.CustomTrainingJob(
    display_name=DISPLAY_NAME,
    script_path="trainer/task.py",
    container_uri="us-docker.pkg.dev/vertex-ai/training/tf-cpu.2-11:latest",
    requirements=["google-cloud-bigquery"],
    model_serving_container_image_uri="us-docker.pkg.dev/vertex-ai/prediction/tf-cpu.2-11:latest",
)

model = job.run(
    dataset=dataset,
    model_display_name=DISPLAY_NAME,
    replica_count=1,
    machine_type="n1-standard-4",
    accelerator_type="NVIDIA_TESLA_T4",
    accelerator_count=1,
    training_fraction_split=0.8,
    validation_fraction_split=0.1,
    test_fraction_split=0.1,
)

5. 查看结果 运行完成后，您可以在 Google Cloud Console 的 Vertex AI 面板中查看训练状态、模型评估指标以及部署的 Endpoint。

下一步

• 探索 Frameworks 文件夹以获取特定框架（如 BigQuery ML, Spark MLlib）的工作流。
• 查看 Applied GenAI 文件夹了解生成式 AI 的应用案例。
• 参考仓库中的架构图解理解从“探索”到“部署”的代码演进路径。