高级解决方案实验室

概述

此代码仓库包含用于在 Vertex AI 上运行的 Jupyter 笔记本。该仓库由 Google Cloud 的 高级解决方案实验室 (ASL) 团队维护。Vertex AI 是 Google Cloud 平台上的下一代人工智能平台。 本仓库中的内容将帮助没有任何机器学习经验的软件工程师达到高级水平。

具体而言，此仓库中的笔记本涵盖了：

• 针对多种数据模态（表格、图像、文本、时间序列）的广泛模型架构（DNN、CNN、RNN、Transformer、SNGP 等），主要使用 TensorFlow 和 Keras 实现。
• Google Cloud 的 Vertex AI 提供的工具，用于大规模部署和运营 TensorFlow、Scikit-learn 和 PyTorch 模型（例如 Vertex 训练、调参和推理服务，以及 TFX 和 Kubeflow 流水线）。

如果您是机器学习或 Vertex AI 的新手，请从这里开始：TensorFlow 入门

仓库结构

所有笔记本都位于 notebooks 文件夹中。该文件夹按不同的机器学习主题进行组织。每个子文件夹包含 labs 和 solutions 两个文件夹。您可以使用 labs 文件夹中的笔记本通过填写 TODO 来练习编码技能，并参考 solutions 文件夹中的笔记本以验证您的代码。

我们主要有以下三个文件夹：

├── kernels - 包含 lab 文件夹中某些笔记本所需的内核脚本
├── notebooks - 按主题组织的 labs 和 solutions 笔记本
│   ├── bigquery
│   ├── building_production_ml_systems
│   ├── docker_and_kubernetes
│   ├── . . .
├── scripts - 包含用于在 Vertex AI 上启用和设置服务的配置脚本

如需更详细的笔记本分类说明，请参阅此 README。

环境设置（Vertex AI）

首先，打开 CloudShell，并运行以下命令：

git clone https://github.com/GoogleCloudPlatform/asl-ml-immersion.git
cd asl-ml-immersion
./scripts/setup_on_cloudshell.sh

其次，按照 官方文档 中的说明，在 Vertex AI Workbench 实例 上设置一个 JupyterLab 实例。

注意：大多数实验并不需要加速器（GPU/TPU），但部分笔记本建议使用它们。

创建 Vertex Workbench 实例后，在 JupyterLab 实例中打开终端，并运行以下命令：

git clone https://github.com/GoogleCloudPlatform/asl-ml-immersion.git
cd asl-ml-immersion
export PATH=$PATH:~/.local/bin
make install

注意：某些笔记本可能需要额外的设置，请参阅相应笔记本中的说明。

执行完这些命令后，您就可以在默认的“Python 3”内核上打开并运行笔记本了。

贡献

目前，只有 Google 员工可以为此仓库做出贡献。有关贡献流程的详细信息，请参阅 CONTRIBUTING.md。

免责声明

本项目并非 Google 官方支持的产品。使用 Google Cloud 产品会产生费用。有关定价的更多信息，请访问 此处。

许可证

本仓库中的所有代码均采用 Apache License, Version 2.0（简称“许可证”）授权。您可以在 此处 获取许可证副本。

除非适用法律要求或双方另有书面约定，否则根据本许可证分发的软件以“现状”提供，不附带任何明示或暗示的担保或条件。有关特定语言下的权限和限制，请参阅许可证条款。

asl-ml-immersion 快速上手指南

本指南旨在帮助开发者快速在 Google Cloud Vertex AI 上部署并运行 asl-ml-immersion 项目。该项目包含一系列 Jupyter Notebook，涵盖从基础到高级的机器学习内容（包括 DNN、CNN、Transformer 等架构），适合希望提升 ML 工程能力的软件工程师。

环境准备

• 云平台账号：拥有有效的 Google Cloud Platform (GCP) 账号及项目权限。
• 核心服务：需启用 Vertex AI 和 Cloud Shell。
• 计算资源：
  • 大多数实验无需加速器即可运行。
  • 部分高级实验建议使用 GPU 或 TPU（可在创建 Workbench 实例时选择）。
• 网络要求：由于仓库托管于 GitHub 且依赖 Google Cloud 服务，中国大陆用户建议配置稳定的网络环境或使用代理加速，以确保 git clone 和依赖包下载顺利。

安装步骤

本项目分为两个阶段设置：首先在 Cloud Shell 中初始化环境，然后在 Vertex AI Workbench 实例中配置运行时。

第一步：在 Cloud Shell 中初始化

1. 打开 Google Cloud Shell。
2. 执行以下命令克隆仓库并运行设置脚本：

git clone https://github.com/GoogleCloudPlatform/asl-ml-immersion.git
cd asl-ml-immersion
./scripts/setup_on_cloudshell.sh

第二步：创建并配置 Vertex AI Workbench 实例

1. 按照 官方文档 创建一个 Vertex AI Workbench Instance (JupyterLab 实例)。
2. 实例创建完成后，点击 Open JupyterLab 进入界面。
3. 在 JupyterLab 界面中，打开 Terminal (终端)，执行以下命令：

git clone https://github.com/GoogleCloudPlatform/asl-ml-immersion.git
cd asl-ml-immersion
export PATH=$PATH:~/.local/bin
make install

注意：安装完成后，建议选择基础的 "Python 3" 内核来运行 Notebook。部分特定 Notebook 可能有额外的依赖要求，请查阅对应文件夹内的说明。

基本使用

项目内容按主题分类存储在 notebooks 目录下。每个主题文件夹包含 labs（练习）和 solutions（答案）两个子目录。

推荐起步路径

如果你是机器学习或 Vertex AI 的新手，建议从 TensorFlow 入门课程开始：

1. 在 JupyterLab 文件浏览器中导航至： notebooks/introduction_to_tensorflow
2. 打开 labs 文件夹中的 Notebook 文件。
3. 查找代码中标记为 # TODO 的部分，尝试填写代码以完成练习。
4. 完成后，可对比同目录下 solutions 文件夹中的代码进行验证。

目录结构说明

• notebooks/<topic>/labs/: 包含待填充代码的练习题，用于测试你的编码技能。
• notebooks/<topic>/solutions/: 包含完整代码的参考答案。
• kernels/: 包含部分实验所需的自定义内核脚本。
• scripts/: 包含环境设置脚本。

通过依次完成不同主题（如 bigquery, building_production_ml_systems, docker_and_kubernetes 等）下的实验，你可以系统性地掌握从模型构建到生产化部署的全流程。