Google Cloud 平台上的机器学习

指导您如何将代码从各种机器学习框架迁移到 Google Cloud 平台。

我们的目标是提供实用的指南和最佳实践，帮助您减少在不同接口间调试的时间，从而将更多精力投入到数据集探索、模型构建以及解决真正关心的问题上。

---

博客文章

1. 使用深度学习进行基因组谱系推断 - 在 Google Cloud 平台上利用 1000 基因组数据集 进行谱系推断

2. 使用 TensorRT 5 和 NVIDIA T4 GPU 大规模运行 TensorFlow 推理工作负载 - 利用 Tesla T4、TensorFlow、TensorRT、负载均衡和自动扩缩功能构建 ML 推理演示

3. NVIDIA 的 RAPIDS 加入我们的深度学习虚拟机镜像集合，加速数据科学工作流程 - Google Cloud 提供的一系列深度学习虚拟机（VM）镜像，支持一键式搭建面向机器学习的开发环境。然而，部分数据科学家仍在传统的基于 CPU 的实例上结合使用 pandas、Dask、scikit-learn 和 Spark。如果您希望通过扩展来加速端到端流程，Google Cloud 的深度学习 VM 现已包含一个实验性镜像，其中预装了 RAPIDS——NVIDIA 开源的基于 Python 的 GPU 加速数据处理与机器学习库，它是 NVIDIA 更大范围的 CUDA-X AI 加速软件套件中的重要组成部分。CUDA-X AI 是 NVIDIA 提供的一系列 GPU 加速库，用于加速深度学习、机器学习和数据分析任务。

4. 从 Google Cloud Functions 推断机器学习模型 - 介绍如何通过 Google Cloud Function 端点推断 AI Platform 模型

5. NVIDIA 在语言理解方面取得突破，助力实现实时对话式 AI - AI Hub 和 AI Platform Notebooks 中的 BERT 笔记本

---

TensorFlow

1. Estimators - Estimator 接口指南

---

scikit-learn

1. 在 GCE 上使用 scikit-learn - 在 Google Compute Engine 上使用 scikit-learn 训练一个简单模型

2. 模型服务 - 使用 Google App Engine 和 Cloud Endpoints 提供模型服务

3. 超参数搜索 - 从 Jupyter 笔记本中对 Google Kubernetes Engine 集群上的超参数进行搜索

---

Google Compute Engine

1. Compute Engine 生存训练 - 介绍在 Google Compute Engine 上运行高可用训练作业的框架

2. Compute Engine 突发训练 - 指南说明如何利用高性能虚拟机快速且低成本地执行计算密集型训练任务。（本指南中的示例训练作业同时使用了 xgboost 和 scikit-learn。）

---

Google Cloud Functions

1. Google Cloud Functions + AI Platform 示例 - 用于推断 AI Platform 模型的示例端点

---

示例动物园

一系列适配后可在 AI Platform 上运行的示例集合。

1. tensorflow-probability 示例

2. tensorflow-models 示例

Google 机器学习仓库

如果您正在寻找有关如何使用其他服务在 Google Cloud Platform (GCP) 上进行机器学习的指南，请查看我们的其他仓库：

• AI Platform 示例，其中包含使用 AI Platform Training、Prediction、Notebooks 和 AI Hub 等产品，将您的代码从各种 ML 框架迁移到 Google Cloud AI Platform 的指南。
• Keras 正统编程者，该仓库由 Google Cloud AI 开发者关系团队制作，内容涵盖机器学习和人工智能领域的教育、培训和研究，适合从初学者到中级及高级用户。
• 专业服务，包含由 Google Cloud 专业服务团队开发的常用解决方案和工具。

ml-on-gcp 快速上手指南

ml-on-gcp 是一个汇集了将各类机器学习框架代码迁移至 Google Cloud Platform (GCP) 的实战指南仓库。它旨在提供具体的“食谱”和最佳实践，帮助开发者减少在接口适配上的时间，专注于数据探索、模型构建及问题解决。

环境准备

在开始之前，请确保你具备以下基础环境和权限：

• Google Cloud 账号：拥有一个激活的 GCP 项目，并启用了计费功能。
• gcloud CLI：本地已安装并配置好 Google Cloud SDK。
  • 安装后运行 gcloud auth login 进行登录。
  • 运行 gcloud config set project [YOUR_PROJECT_ID] 设置默认项目。
• 前置依赖：
  • Python 3.7+ (根据具体教程需求)
  • Jupyter Notebook (用于运行提供的 .ipynb 示例)
  • 对应框架依赖：TensorFlow, scikit-learn, xgboost 等（建议在虚拟环境中安装）。
• API 启用：根据你要使用的服务（如 Compute Engine, AI Platform, Cloud Functions），需在 GCP 控制台或通过命令行启用相应 API。

注意：由于网络原因，国内开发者访问 GCP 服务可能需要配置代理或使用全球加速通道。本仓库本身托管于 GitHub，克隆时若速度慢可考虑使用国内镜像源。

安装步骤

本仓库主要包含代码示例和文档，无需复杂的安装过程，只需克隆仓库并安装对应示例的依赖即可。

1. 克隆仓库

   git clone https://github.com/GoogleCloudPlatform/ml-on-gcp.git
   cd ml-on-gcp
   

2. 安装通用依赖（可选） 如果你打算运行多个示例，可以安装基础的 ML 库：

   pip install tensorflow scikit-learn pandas google-cloud-storage
   

3. 配置特定示例环境 进入具体教程目录（例如 tutorials/sklearn/titanic），通常会有独立的 requirements.txt，请按需安装：

   cd tutorials/sklearn/titanic
   pip install -r requirements.txt
   

基本使用

以下以 scikit-learn on GCE 为例，展示如何在 Google Compute Engine (GCE) 上训练一个简单的模型。这是最基础的“云端训练”场景。

场景：在 GCE 实例上训练 Titanic 生存预测模型

1. 准备数据与代码 确保你已在本地 tutorials/sklearn/titanic 目录下准备好了训练脚本（如 train.py）和数据集。

2. 创建计算实例 使用 gcloud 命令创建一个带有预装深度学习环境的 VM 实例（也可选择标准 CPU 实例）：

   gcloud compute instances create ml-training-vm \
     --zone=us-central1-a \
     --machine-type=n1-standard-4 \
     --image-family=common-cu101 \
     --image-project=deeplearning-platform-release \
     --boot-disk-size=50GB
   

3. 上传代码到实例 将本地的训练代码和数据上传至刚创建的实例：

   gcloud compute scp train.py titanic.csv ml-training-vm:~/ --zone=us-central1-a
   

4. 远程执行训练 通过 SSH 连接实例并运行训练脚本：

   gcloud compute ssh ml-training-vm --zone=us-central1-a --command="python3 train.py"
   

   注：train.py 内部逻辑应包含加载数据、使用 scikit-learn 建模、训练及保存模型文件的步骤。

5. 获取模型 训练完成后，将生成的模型文件下载回本地或上传至 Google Cloud Storage (GCS)：

   gcloud compute scp ml-training-vm:~/model.pkl ./local_model.pkl --zone=us-central1-a
   

其他快速入口

• TensorFlow Estimators: 查看 tutorials/tensorflow/tf-estimators.ipynb 了解如何在 GCP 上使用 TF Estimator 接口。
• 超参数搜索: 参考 tutorials/sklearn/hpsearch，学习如何在 Google Kubernetes Engine (GKE) 集群上从 Jupyter Notebook 发起超参数搜索任务。
• 无服务器推理: 查看 gcf/gcf-ai-platform-example，了解如何通过 Google Cloud Functions 调用 AI Platform 模型进行推理。

更多高级示例（如 TensorFlow Probability, BERT 等）请访问仓库中的 example_zoo 目录。