Google Cloud Vertex AI 示例

本仓库包含笔记本、代码示例、示例应用、技能以及其他资源，展示了如何使用 Google Cloud Vertex AI 构建、开发和管理机器学习及生成式 AI 工作流。

概述

Vertex AI 是一个完全托管的统一 AI 开发平台，用于构建和使用生成式 AI。本仓库旨在帮助您快速入门 Vertex AI。无论您是初次接触 Vertex AI 还是有经验的机器学习从业者，都能在这里找到有价值的资源。

⚠️ 如需更多 Vertex AI 生成式 AI 笔记本示例，请访问 Vertex AI 的 Generative AI GitHub 仓库。

探索、学习与贡献

您可以探索、学习并为本仓库贡献力量，以充分发挥 Vertex AI 上机器学习的潜力！

探索与学习

浏览本仓库，跟随每个笔记本头部链接前往：

• 在 Colab 中打开并运行笔记本
• 在 Colab Enterprise 中打开并运行笔记本
• 在 Vertex AI Workbench 中打开并运行笔记本
• 在 Github 上查看笔记本

贡献

请参阅 贡献指南。

开始使用

要开始使用 Vertex AI，您需要拥有一个 Google Cloud 项目。

• 如果您还没有 Google Cloud 项目，可以使用 免费试用 免费学习和构建 GCP 应用。
• 拥有 Google Cloud 项目后，您可以进一步了解如何 设置项目和开发环境。

仓库结构

├── notebooks
│   ├── official - 展示各 Vertex AI 服务使用的笔记本
│   │   ├── automl
│   │   ├── custom
│   │   ├── ...
│   ├── community - 社区贡献的笔记本
│   │   ├── model_garden
│   │   ├── ...
├── community-content - 社区贡献的示例代码和教程
├── docs - 深入文档和高级设置指南
└── skills - Vertex AI 的 AI 代理“技能”套件
    ├── README.md               # Vertex AI 技能开发者指南
    ├── vertex-ai/              # Vertex AI 任务的主要路由
    │   └── SKILL.md            # 路由到不同功能的入口点
    ├── genai-sdk/              # 使用 Gen AI SDK 调用 Gemini API
    │   └── SKILL.md            # 针对 Python、JS/TS、Go、Java、C# 的指南
    ├── vertex-deploy/          # 将模型部署到 Endpoints
    │   └── SKILL.md            # 用于公开模型和自定义权重的命令
    ├── vertex-inference/       # 使用 GenAI 模型进行推理
    │   └── SKILL.md            # 包含 Gemini 和 OpenMaaS 的代码示例
    └── vertex-tuning/          # 模型微调的二级路由
        ├── SKILL.md            # 微调任务的路由
        ├── gemini/             # 第一方 Gemini 模型的微调
        │   └── SKILL.md
        └── open-model/         # 第三方开源模型的微调
            └── SKILL.md

示例

类别	产品	描述
模型	Model Garden/	精选的第一方、开源及第三方模型集合，可在 Vertex AI 上使用，包括 Gemini、Gemma、Llama 3、Claude 3 等众多模型。
数据	Feature Store/	使用 Vertex AI Feature Store 设置和管理在线推理服务。
	datasets/	结合 BigQuery 和 Data Labeling 服务使用 Vertex AI。
模型开发	automl/	训练 AutoML 模型并进行预测。
	custom/	在 Vertex AI 上创建、部署和提供自定义模型服务。
	ray_on_vertex_ai/	使用 Colab Enterprise 和 Vertex AI 的 Python SDK 连接到 Ray 集群。
部署与使用	prediction/	使用预构建容器进行自定义训练和预测，从而构建、训练和部署模型。
	model_registry/	使用 Model Registry 创建并注册模型。
	Explainable AI/	利用 Vertex Explainable AI 的基于特征和基于示例的解释功能，说明模型为何会产生特定预测。
	ml_metadata/	记录元数据和工件，并查询这些元数据，以帮助分析、调试和审计您的机器学习系统的性能。
工具	Pipelines/	使用 `Vertex AI Pipelines` 和 `Google Cloud Pipeline Components` 构建、调优或部署自定义模型。

获取帮助

如需反馈或提交 bug 报告，请使用 Issues 页面。

免责声明

本项目并非 Google 官方支持的产品。本仓库中的代码仅用于演示目的。

参考资料

• Vertex AI Jupyter Notebook 教程
• Vertex AI 的 Generative AI GitHub 仓库
• Vertex AI 文档

Google Cloud Vertex AI Samples 快速上手指南

本指南帮助中国开发者快速了解并使用 vertex-ai-samples 仓库，通过示例代码和 Notebook 掌握 Google Cloud Vertex AI 的机器学习与生成式 AI 工作流。

环境准备

在开始之前，请确保满足以下前置条件：

1. Google Cloud 账号与项目

   • 您需要拥有一个 Google Cloud 账号。如果没有，可以注册 免费试用 (Free Trail)。
   • 创建一个新的 Google Cloud 项目。
   • 参考官方文档：设置项目和开发环境。

2. 运行环境选择 本仓库的示例主要以 Jupyter Notebook 形式提供，支持以下三种运行方式（推荐任选其一）：

   • Google Colab：无需配置本地环境，直接在浏览器运行（需网络能访问 Google 服务）。
   • Colab Enterprise：适用于企业级安全和管理需求。
   • Vertex AI Workbench：Google Cloud 托管的 JupyterLab 实例。
   • 本地环境：需安装 Python、Jupyter 及 Google Cloud SDK（适合高级用户）。

3. 权限配置

   • 确保您的项目已启用 Vertex AI API。
   • 若使用本地开发或 Workbench，需配置应用默认凭据：

     gcloud auth application-default login
     

安装步骤

本仓库主要为代码示例集合，通常无需像传统软件包那样进行全局安装。您可以根据选择的运行环境执行以下操作：

方案 A：使用云端 Notebook（推荐）

直接点击仓库中任意 Notebook 文件顶部的按钮即可自动配置环境：

• 点击 "Open in Colab" 在 Google Colab 中打开。
• 点击 "Open in Vertex AI Workbench" 在云端工作台中打开。
• 注：首次运行时，Notebook 内部会自动安装所需的 google-cloud-aiplatform 等依赖库。

方案 B：本地克隆与依赖安装

如果您希望在本地运行示例，请执行以下步骤：

1. 克隆仓库

   git clone https://github.com/GoogleCloudPlatform/vertex-ai-samples.git
   cd vertex-ai-samples
   

2. 安装 Python 依赖 进入具体的示例目录（例如 notebooks/official/automl），安装核心 SDK：

   pip install google-cloud-aiplatform
   

   (可选) 如果示例包含 requirements.txt，请优先使用：

   pip install -r requirements.txt
   

注意：由于网络原因，国内开发者在安装 google-cloud-aiplatform 时可能会遇到下载缓慢的问题。建议配置 pip 使用国内镜像源（如清华源或阿里源）加速安装：

pip install google-cloud-aiplatform -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

以下是一个最简单的示例，演示如何初始化 Vertex AI 并列出可用的模型（以自定义模型训练为例）。

1. 初始化环境

在 Notebook 或 Python 脚本中，首先导入库并初始化项目配置：

from google.cloud import aiplatform

# 替换为您的项目 ID 和区域
PROJECT_ID = "your-project-id"
LOCATION = "us-central1"  # 或 asia-northeast1 等可用区域

aiplatform.init(project=PROJECT_ID, location=LOCATION)

2. 运行示例任务

以查看 Model Garden 中的模型或运行一个简单的 AutoML 流程为例，您可以直接运行仓库中对应的 Notebook 单元格。

示例：列出自定义训练作业（需先有作业记录）

# 列出最近的自定义训练作业
jobs = aiplatform.CustomJob.list()
for job in jobs:
    print(f"Job Name: {job.display_name}, State: {job.state}")

3. 探索更多示例

根据您的需求，浏览仓库中的不同目录：

类别	目录路径	说明
生成式 AI 模型	notebooks/community/model_garden	使用 Gemini, Llama 3, Claude 3 等模型的示例。
AutoML	notebooks/official/automl	无需编写模型代码，直接训练和预测。
自定义模型	notebooks/official/custom	使用自定义容器训练和部署模型。
特征存储	notebooks/official/feature_store	管理在线和离线特征数据。
MLOps 流水线	notebooks/official/pipelines	构建端到端的 ML 流水线。

提示：对于生成式 AI (Generative AI) 的更多高级示例，建议同时参考 Vertex AI Generative AI 专用仓库。