[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-statmike--vertex-ai-mlops":3,"tool-statmike--vertex-ai-mlops":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",151314,2,"2026-04-11T23:32:58",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":77,"owner_email":78,"owner_twitter":78,"owner_website":79,"owner_url":80,"languages":81,"stars":110,"forks":111,"last_commit_at":112,"license":113,"difficulty_score":32,"env_os":114,"env_gpu":115,"env_ram":116,"env_deps":117,"category_tags":127,"github_topics":128,"view_count":32,"oss_zip_url":78,"oss_zip_packed_at":78,"status":17,"created_at":136,"updated_at":137,"faqs":138,"releases":168},6793,"statmike\u002Fvertex-ai-mlops","vertex-ai-mlops","Google Cloud Platform Vertex AI end-to-end workflows for machine learning operations","vertex-ai-mlops 是一个专注于谷歌云平台（GCP）Vertex AI 的开源项目，旨在提供机器学习运营（MLOps）的全流程工作流参考。它主要解决了企业在将预测性 AI 和生成式 AI 模型从实验阶段推向生产环境时，面临的流程标准化难、框架适配复杂以及运维管理混乱等痛点。\n\n该项目特别适合机器学习工程师、数据科学家以及云架构师使用。无论是需要构建稳健的模型部署流水线，还是希望探索大语言模型（GenAI）与时间序列预测的实际应用，都能从中找到经过验证的代码范例和架构指导。\n\n其核心亮点在于紧跟技术前沿，2025 年的更新计划明确将重心转向生成式 AI 与预测性 AI 的深度融合。项目不仅涵盖了多种主流机器学习框架的特定工作流，还通过清晰的目录结构区分了\"MLOps 基础”、“框架集成”与“应用场景”（如生成式 AI 应用、预测分析）。此外，作者建立了良好的内容维护机制，将过时资料归档至\"legacy\"文件夹，确保用户始终能获取最新、最有效的最佳实践方案，是学习如何在 Google Cloud 上落地企业级 AI 操作的实用指南。","![tracker](https:\u002F\u002Fus-central1-vertex-ai-mlops-369716.cloudfunctions.net\u002Fpixel-tracking?path=statmike%2Fvertex-ai-mlops&file=readme.md)\n\u003C!--- header table --->\n\u003Ctable>\n\u003Ctr>     \n  \u003Ctd style=\"text-align: center\">\n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fstatmike\u002Fvertex-ai-mlops\u002Fblob\u002Fmain\u002Freadme.md\">\n      \u003Cimg width=\"32px\" src=\"https:\u002F\u002Fwww.svgrepo.com\u002Fdownload\u002F217753\u002Fgithub.svg\" alt=\"GitHub logo\">\n      \u003Cbr>View on\u003Cbr>GitHub\n    \u003C\u002Fa>\n  \u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n  \u003Ctd style=\"text-align: right\">\n    \u003Cb>Share On: \u003C\u002Fb> \n    \u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fsharing\u002Fshare-offsite\u002F?url=https:\u002F\u002Fgithub.com\u002Fstatmike\u002Fvertex-ai-mlops\u002Fblob\u002Fmain\u002Freadme.md\">\u003Cimg src=\"https:\u002F\u002Fupload.wikimedia.org\u002Fwikipedia\u002Fcommons\u002F8\u002F81\u002FLinkedIn_icon.svg\" alt=\"Linkedin Logo\" width=\"20px\">\u003C\u002Fa> \n    \u003Ca href=\"https:\u002F\u002Freddit.com\u002Fsubmit?url=https:\u002F\u002Fgithub.com\u002Fstatmike\u002Fvertex-ai-mlops\u002Fblob\u002Fmain\u002Freadme.md\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fstatmike_vertex-ai-mlops_readme_57d4f32afa09.png\" alt=\"Reddit Logo\" width=\"20px\">\u003C\u002Fa> \n    \u003Ca href=\"https:\u002F\u002Fbsky.app\u002Fintent\u002Fcompose?text=https:\u002F\u002Fgithub.com\u002Fstatmike\u002Fvertex-ai-mlops\u002Fblob\u002Fmain\u002Freadme.md\">\u003Cimg src=\"https:\u002F\u002Fupload.wikimedia.org\u002Fwikipedia\u002Fcommons\u002F7\u002F7a\u002FBluesky_Logo.svg\" alt=\"BlueSky Logo\" width=\"20px\">\u003C\u002Fa> \n    \u003Ca href=\"https:\u002F\u002Ftwitter.com\u002Fintent\u002Ftweet?url=https:\u002F\u002Fgithub.com\u002Fstatmike\u002Fvertex-ai-mlops\u002Fblob\u002Fmain\u002Freadme.md\">\u003Cimg src=\"https:\u002F\u002Fupload.wikimedia.org\u002Fwikipedia\u002Fcommons\u002F5\u002F5a\u002FX_icon_2.svg\" alt=\"X (Twitter) Logo\" width=\"20px\">\u003C\u002Fa> \n  \u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n  \u003Ctd style=\"text-align: right\">\n    \u003Cb>Connect With Author On: \u003C\u002Fb> \n    \u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fstatmike\">\u003Cimg src=\"https:\u002F\u002Fupload.wikimedia.org\u002Fwikipedia\u002Fcommons\u002F8\u002F81\u002FLinkedIn_icon.svg\" alt=\"Linkedin Logo\" width=\"20px\">\u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fwww.github.com\u002Fstatmike\">\u003Cimg src=\"https:\u002F\u002Fwww.svgrepo.com\u002Fdownload\u002F217753\u002Fgithub.svg\" alt=\"GitHub Logo\" width=\"20px\">\u003C\u002Fa> \n    \u003Ca href=\"https:\u002F\u002Fwww.youtube.com\u002F@statmike-channel\">\u003Cimg src=\"https:\u002F\u002Fupload.wikimedia.org\u002Fwikipedia\u002Fcommons\u002Ff\u002Ffd\u002FYouTube_full-color_icon_%282024%29.svg\" alt=\"YouTube Logo\" width=\"20px\">\u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fbsky.app\u002Fprofile\u002Fstatmike.bsky.social\">\u003Cimg src=\"https:\u002F\u002Fupload.wikimedia.org\u002Fwikipedia\u002Fcommons\u002F7\u002F7a\u002FBluesky_Logo.svg\" alt=\"BlueSky Logo\" width=\"20px\">\u003C\u002Fa> \n    \u003Ca href=\"https:\u002F\u002Fx.com\u002Fstatmike\">\u003Cimg src=\"https:\u002F\u002Fupload.wikimedia.org\u002Fwikipedia\u002Fcommons\u002F5\u002F5a\u002FX_icon_2.svg\" alt=\"X (Twitter) Logo\" width=\"20px\">\u003C\u002Fa>\n  \u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n  \u003Ctd style=\"text-align: right\">\n    \u003Ca href=\"https:\u002F\u002Fraw.githubusercontent.com\u002Fstatmike\u002Fvertex-ai-mlops\u002Fmain\u002Freadme.md\">\u003Cimg src=\"https:\u002F\u002Fwww.svgrepo.com\u002Fdownload\u002F5445\u002Fdownload-button.svg\" alt=\"Download icon\" width=\"20px\">\u003C\u002Fa> \u003Ca href=\"https:\u002F\u002Fraw.githubusercontent.com\u002Fstatmike\u002Fvertex-ai-mlops\u002Fmain\u002Freadme.md\">Download File\u003C\u002Fa> \u003Ci>(right-click and \"Save As\")\u003C\u002Fi>\n  \u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003C\u002Ftable>\u003Cbr\u002F>\u003Cbr\u002F>\n\n---\n# Vertex AI for Machine Learning Operations\n\n>**2025 UPDATE:** The repository is progressing toward an MLOps focused approach for predictive and generative AI operations.\n>\n>The main focus of the repository is new content developed in:\n>- MLOps\n>- Frameworks\n>- Applied *\n>   - mostly Applied GenAI and Applied Forecasting\n>\n>What to expect in 2025:\n>- Much more MLOps content in the `\u002FMLOps` folder\n>- A detailed review of GenAI tooling in the `Applied GenAI` folder\n>- Many framework specific workflows in the `Frameworks` folder\n>- Migration of all the numbered folders to these main folders\n>- Collapsing all the Applied * folders into a single 'Applied Workflows' folder with subfolders by topic: GenAI, Forecasting, ...\n>- A complete rewrite of this readme.md file\n>- Content that is deemed stale is moved into subfolders named `legacy` and links from\u002Fto are updated.\n\n>**2024 UPDATE:**  This repository is evolving from end-to-end workflows for various frameworks into an MLOps focused approach for development of predictive and generative AI operations.  The new approach is being developed in the [MLOps](.\u002FMLOps\u002Freadme.md) folder.  Once it nears completion, the content in this repository will be rearranged into the following structure:\n>- MLOps\n>    - Pipelines\n>    - Experiments\n>    - Feature Store\n>    - Model Monitoring\n>    - ...\n>- Applied Examples\n>    - Forecasting\n>    - GenAI\n>    - ...\n>- Framework Workflows\n>    - BigQuery ML\n>    - TensorFlow\n>    - scikit-learn\n>    - ...\n> - ...\n\n\n\n\u003Cp align=\"center\">\u003Ccenter>\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fstatmike_vertex-ai-mlops_readme_3fd7537bb486.png\" width=\"90%\">\n\u003C\u002Fcenter>\u003Cp>\n\n\n\n---\n> This is the original readme from prior to the shift in this repository.  After the content rearrangement is complete and this information is incorporate above it will be removed.  \n\n## 👋 I'm Mike\n\nI want to share and enable [Vertex AI](https:\u002F\u002Fcloud.google.com\u002Fvertex-ai\u002Fdocs\u002Fstart\u002Fintroduction-unified-platform) from [Google Cloud](https:\u002F\u002Fcloud.google.com\u002Fvertex-ai) with you.  The goal here is to share a comprehensive set of end-to-end workflows for machine learning that each cover the range of data to model to serving and managing - even automating the flow.  Regardless of your data type, skill level or framework preferences you will find something helpful here.  You can even ask for what you need and I might be able to work it into updates! \n\n\u003Cp align=\"center\" width=\"100%\">\u003Ccenter>\n    \u003Ca href=\"https:\u002F\u002Fyoutu.be\u002FsnUEwsft1wY\" target=\"_blank\" rel=\"noopener noreferrer\">\n      \u003Ckbd>\u003Cimg width=\"50%\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fstatmike_vertex-ai-mlops_readme_5f94fb3321d2.png\">\u003C\u002Fkbd>\n    \u003C\u002Fa>\n\u003C\u002Fcenter>\u003C\u002Fp>\n\u003Cp align=\"center\">Click to watch on YouTube\u003C\u002Fp>\n\u003Cp align=\"center\">Click \u003Ca href=\"https:\u002F\u002Fyoutube.com\u002Fplaylist?list=PLgxF613RsGoUuEjJJxJW2JYyZ8g1qOUou\" target=\"_blank\" rel=\"noopener noreferrer\">here\u003C\u002Fa> to see current playlist for this repository\u003C\u002Fp>\n\n---\n## Tracking\n\nTo better understand which content is most helpful to users, this repository uses tracking pixels in each markdown (`.md`) and notebook (`.ipynb`) file.  **No user or location data is collected.**  The only information captured is that the content was rendered\u002Fviewed which gives us a daily count of usage.  Please share any concerns you have with this in [repositories discussion board](https:\u002F\u002Fgithub.com\u002Fstatmike\u002Fvertex-ai-mlops\u002Fdiscussions) and I am happy to also provide a branch without the tracking.  \n\nA script is provided to remove this tracking from your local copy of this repository in the file `pixel_remove.py` in the folder [pixel](.\u002Farchitectures\u002Ftracking\u002Fsetup\u002Fpixel\u002Freadme.md).  This readme also has the complete code for creating the tracking in case you want to use replicate it or just understand it in greater detail.\n\n---\n## Approach Used In This Repository\n\nThis repository is presented as workflows using, primarily, interactive python notebooks `.ipynb`.  Why?  These are easy to review, share, and move.  They contain elements for both code and narrative. The narrative can be written with plain text, Markdown and\u002For HTML which makes providing visual explanations easy.  This reinforces the goal of this repository: information that is easily accessible, portable, and great for starting points in your own work.\n\nIn notebooks, execution is driven from the locally attached compute.  In this repository that means the Python code is currently running in the notebooks compute.  The code in this repository heavily leans on orchestrating services in GCP rather than doing data compute in the local environment to the notebook.  That means these notebooks are designed to run on minimal machine sizes, like `n1-standard2` even.  The heavy work of training and serving is done on Vertex AI, BigQuery, and other Google Cloud services.  You will even find notebooks that author code, and then deploy the code in services like Vertex AI Custon Training and Vertex AI Pipelines.  \n\nThere are sections that use other languages, like R, as well as creating files that are external to the notebooks: `dockerfile`, `.py` scripts and modules, etc.\n\nThe code in this repository is opinionated.  It is not completely production ready as well as not simply ad-hoc exploration.  It aims to the right of the continum of exploration to deployment: 'hello-world' to CI\u002FCD\u002FCT.  In our data science daily work we might think of the process as:\n\n\u003Cp align=\"center\" width=\"100%\">\u003Ccenter>\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fstatmike_vertex-ai-mlops_readme_64e31ca00914.png\">\n\u003C\u002Fcenter>\u003C\u002Fp>\n\nIn **explore**, everything is code as you go.  At some point in this exploration ideas find value and need to be developed.\n\nIn **develop**, the approach is usually something like:\n- make it work\n    - get a working end to end flow\n- clean it up\n    - revisit the code and remove parts that are no longer needed and reorder based on what is learned\n- generalize it\n    - parameterize\n    - use functions\n    - control flow: start using logic to check for out of bound conditions\n- optimize it\n    - better use of data structures to handle data usage during execution\n    - consider execution timing and optimize for the simoultaneous goal of readability (= maintainability) and compute time\n\nIn many cases, getting from development to **deployment** is simple:\n- schedule a notebook - a lot like skipping the **develop** stage\n- deploy a pipeline\n- create a cloud function\n\nBut, inevitably, as a workflow proves value it requires more effort before you **deploy**:\n- error handling\n- unit testing\n- move from specialized code to generalized code: \n    - use classes\n    - control environment handling\n\nSo where does the code in the repository fall? In the late **develop** phase with strong readability and adaptibility.\n\n\u003Cp align=\"center\" width=\"100%\">\u003Ccenter>\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fstatmike_vertex-ai-mlops_readme_01e40bbfd99a.png\">\n\u003C\u002Fcenter>\u003C\u002Fp>\n\n---\n## Table of Contents\n- [Considerations](#considerations)\n- [Overview](#overview)\n- [Vertex AI](#vertex)\n- [Interacting With Vertex AI](#vertexsdk)\n- [Setup](#setup)\n- [Helpful Sections](#helpful)\n- [More Resources](#resources)\n\n---\n\u003Ca id = 'considerations'>\u003C\u002Fa>\n## Considerations\n\n### Data Type\n\n-  Tables: Tabular, structured data in rows and columns\n-  Language: Text for translation and\u002For understanding\n-  Vision: Images\n-  Video\n\n### Convenience Level\n\n-  Use Pre-Trained APIs\n-  Automate building Custom Models\n-  End-to-end Custom ML with core tools in the framework of your choice\n\n### Framework Preferences\n\n-  [Scikit-learn](https:\u002F\u002Fscikit-learn.org\u002Fstable\u002Findex.html)\n-  [XGBoost](https:\u002F\u002Fxgboost.readthedocs.io\u002Fen\u002Flatest\u002F)\n-  [Tensorflow](https:\u002F\u002Fwww.tensorflow.org\u002F)\n-  [Pytorch](https:\u002F\u002Fpytorch.org\u002F)\n-  [Spark MLlib](https:\u002F\u002Fspark.apache.org\u002Fdocs\u002Flatest\u002Fml-guide.html)\n-  [R](https:\u002F\u002Fwww.r-project.org\u002F)\n-  [Julia](https:\u002F\u002Fjulialang.org\u002F)\n-  More!\n\n---\n\u003Ca id = 'overview'>\u003C\u002Fa>\n## Overview\n\nThis is a series of workflow demonstrations that use the same data source to build and deploy the same machine learning model with different frameworks and automation.  These are meant to help get started in understanding and learning Vertex AI and provide starting points for new projects.  \n\nThe demonstrations focus on workflows and don't delve into the specifics of ML frameworks other than how to integrate and automate with Vertex AI. Let me know if you have ideas for more workflows or details to include!\n\nTo understand the contents of this repository, the following charts uncover the groupings of the content.\n\n| Direction |\n:-------------------------:\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fstatmike_vertex-ai-mlops_readme_bd9041820c72.png)\n\n### Pre-Trained APIs\n\u003Ctable style='text-align:center;vertical-align:middle' width=\"100%\" cellpadding=\"1\" cellspacing=\"0\">\n    \u003Ctr>\n        \u003Cth colspan='4'>Pre-Trained Models\u003C\u002Fth>\n        \u003Cth rowspan='2'>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Fautoml\u002Fv1\u002F32px.svg\">\n            \u003Ca href=\"https:\u002F\u002Fcloud.google.com\u002Fvertex-ai\u002Fdocs\u002Fbeginner\u002Fbeginners-guide\" target=\"_blank\">AutoML\u003C\u002Fa>\n        \u003C\u002Fth>\n    \u003C\u002Ftr>\n    \u003Ctr>\n        \u003Cth>Data Type\u003C\u002Fth>\n        \u003Cth>Pre-Trained Model\u003C\u002Fth>\n        \u003Cth>Prediction Types\u003C\u002Fth>\n        \u003Cth>Related Solutions\u003C\u002Fth>\n    \u003C\u002Ftr>\n    \u003Ctr>\n        \u003Ctd rowspan='2'>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fshort-term\u002Frelease\u002Fgooglesymbols\u002Ftext_snippet\u002Fdefault\u002F40px.svg\">\n            \u003Cbr>Text\n        \u003C\u002Ftd>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Fcloud_translation_api\u002Fv1\u002F32px.svg\">\n            \u003Cbr>\u003Ca href=\"https:\u002F\u002Fcloud.google.com\u002Ftranslate\u002Fdocs\u002Foverview\" target=\"_blank\">Cloud Translation API\u003C\u002Fa>\n        \u003C\u002Ftd>\n        \u003Ctd>Detect, Translate\u003C\u002Ftd>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Ftext-to-speech\u002Fv1\u002F32px.svg\">\n            \u003Cbr>\u003Ca href=\"https:\u002F\u002Fcloud.google.com\u002Ftext-to-speech\u002Fdocs\u002Fbasics\" target=\"_blank\">Cloud Text-to-Speech\u003C\u002Fa>\n        \u003C\u002Ftd>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Fautoml_translation\u002Fv1\u002F32px.svg\">\n            \u003Cbr>\u003Ca href=\"https:\u002F\u002Fcloud.google.com\u002Ftranslate\u002Fautoml\u002Fdocs\" target=\"_blank\">AutoML Translation\u003C\u002Fa>\n        \u003C\u002Ftd>\n    \u003C\u002Ftr>\n            \u003Ctr>\n                \u003Ctd>\n                   \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Fcloud_natural_language_api\u002Fv1\u002F32px.svg\">\n                   \u003Cbr>\u003Ca href=\"https:\u002F\u002Fcloud.google.com\u002Fnatural-language\u002Fdocs\u002Fquickstarts\" target=\"_blank\">Cloud Natural Language API\u003C\u002Fa>\n                \u003C\u002Ftd>\n                \u003Ctd>\n                    Entities (Identify and label), Sentiment, Entity Sentiment, Syntax, Content Classification\n                \u003C\u002Ftd>\n                \u003Ctd>\n                    \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Fhealthcare_nlp_api\u002Fv1\u002F32px.svg\">\n                    \u003Cbr>\u003Ca href=\"https:\u002F\u002Fcloud.google.com\u002Fhealthcare-api\u002Fdocs\u002Fhow-tos\u002Fnlp\" target=\"_blank\">Healthceare Natural Language API\u003C\u002Fa>\n                \u003C\u002Ftd>\n                \u003Ctd>\n                    \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Fautoml_natural_language\u002Fv1\u002F32px.svg\">\n                    \u003Cbr>\u003Ca href=\"https:\u002F\u002Fcloud.google.com\u002Fvertex-ai\u002Fdocs\u002Ftraining-overview#text_data\" target=\"_blank\">AutoML Text\u003C\u002Fa>\n            \u003C\u002Ftr>\n    \u003Ctr>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fshort-term\u002Frelease\u002Fgooglesymbols\u002Fimage\u002Fdefault\u002F40px.svg\">\n            \u003Cbr>Image\n        \u003C\u002Ftd>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Fcloud_vision_api\u002Fv1\u002F32px.svg\">\n            \u003Cbr>\u003Ca href=\"https:\u002F\u002Fcloud.google.com\u002Fvision\u002Fdocs\u002Ffeatures-list\" target=\"_blank\">Cloud Vision API\u003C\u002Fa>\n        \u003C\u002Ftd>\n        \u003Ctd>\n            Crop Hint, OCR, Face Detect, Image Properties, Label Detect, Landmark Detect, Logo Detect, Object Localization, Safe Search, Web Detect\n        \u003C\u002Ftd>\n        \u003Ctd>\n            \u003Ctable>\n                \u003Ctr>\n                    \u003Ctd>\n                        \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Fdocument_ai\u002Fv1\u002F32px.svg\">\n                        \u003Cbr>\u003Ca href=\"https:\u002F\u002Fcloud.google.com\u002Fdocument-ai\u002Fdocs\u002Fprocessors-list\" target=\"_blank\">Document AI\u003C\u002Fa>\n                    \u003C\u002Ftd>\n                    \u003Ctd>\n                        \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Fvisual_inspection\u002Fv1\u002F32px.svg\">\n                        \u003Cbr>\u003Ca href=\"\" taget=\"_blank\">Visual Inspection AI\u003C\u002Fa>\n                    \u003C\u002Ftd>\n                \u003C\u002Ftr>\n            \u003C\u002Ftable>\n        \u003C\u002Ftd>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Fautoml_vision\u002Fv1\u002F32px.svg\">\n            \u003Cbr>\u003Ca href=\"https:\u002F\u002Fcloud.google.com\u002Fvertex-ai\u002Fdocs\u002Ftraining-overview#image_data\" target=\"_blank\">AutoML Image\u003C\u002Fa>\n        \u003C\u002Ftd>\n    \u003C\u002Ftr>\n    \u003Ctr>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fshort-term\u002Frelease\u002Fgooglesymbols\u002Fmic\u002Fdefault\u002F40px.svg\">\n            \u003Cbr>Audio\n        \u003C\u002Ftd>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Fmedia_translation_api\u002Fv1\u002F32px.svg\">\n            \u003Cbr>\u003Ca href=\"https:\u002F\u002Fcloud.google.com\u002Fmedia-translation\" target=\"_blank\">Cloud Media Translation API\u003C\u002Fa>\n        \u003C\u002Ftd>\n        \u003Ctd>Real-time speech translation\u003C\u002Ftd>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Fspeech-to-text\u002Fv1\u002F32px.svg\">\n            \u003Cbr>\u003Ca href=\"https:\u002F\u002Fcloud.google.com\u002Fspeech-to-text\u002Fdocs\u002Fbasics\" target=\"_blank\">Cloud Speech-to-Text\u003C\u002Fa>\n        \u003C\u002Ftd>\n        \u003Ctd>\u003C\u002Ftd>\n    \u003C\u002Ftr>\n    \u003Ctr>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fshort-term\u002Frelease\u002Fgooglesymbols\u002Fvideocam\u002Fdefault\u002F40px.svg\">\n            \u003Cbr>Video\n        \u003C\u002Ftd>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Fvideo_intelligence_api\u002Fv1\u002F32px.svg\">\n            \u003Cbr>\u003Ca href=\"https:\u002F\u002Fcloud.google.com\u002Fvideo-intelligence\u002Fdocs\u002Fquickstarts\" target=\"_blank\">Cloud Video Intelligence API\u003C\u002Fa>\n        \u003C\u002Ftd>\n        \u003Ctd>\n            Label Detect*, Shot Detect*, Explicit Content Detect*, Speech Transcription, Object Tracking*, Text Detect, Logo Detect, Face Detect, Person Detect, Celebrity Recognition\n        \u003C\u002Ftd>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Fcloud_vision_api\u002Fv1\u002F32px.svg\">\n            \u003Cbr>\u003Ca href=\"https:\u002F\u002Fcloud.google.com\u002Fvision-ai\u002Fdocs\u002Foverview\" target=\"_blank\">Vertex AI Vision\u003C\u002Fa>\n        \u003C\u002Ftd>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Fautoml_video_intelligence\u002Fv1\u002F32px.svg\">\n            \u003Cbr>\u003Ca href=\"https:\u002F\u002Fcloud.google.com\u002Fvertex-ai\u002Fdocs\u002Ftraining-overview#video_data\" target=\"_blank\">AutoML Video\u003C\u002Fa>\n        \u003C\u002Ftd>\n    \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n\n### AutoML\n\u003Ctable style='text-align:center;vertical-align:middle' width=\"100%\" cellpadding=\"1\" cellspacing=\"0\">\n    \u003Ctr>\n        \u003Cth colspan='3'>AutoML\u003C\u002Fth>\n    \u003C\u002Ftr>\n    \u003Ctr>\n        \u003Cth>Data Type\u003C\u002Fth>\n        \u003Cth>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Fautoml\u002Fv1\u002F32px.svg\">\n            \u003Cbr>\u003Ca href=\"https:\u002F\u002Fcloud.google.com\u002Fvertex-ai\u002Fdocs\u002Fbeginner\u002Fbeginners-guide\" target=\"_blank\">AutoML\u003C\u002Fa>\n        \u003C\u002Fth>\n        \u003Cth>Prediction Types\u003C\u002Fth>\n    \u003C\u002Ftr>\n    \u003Ctr>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fshort-term\u002Frelease\u002Fgooglesymbols\u002Ftable\u002Fdefault\u002F40px.svg\">\n            \u003Cbr>Table\n        \u003C\u002Ftd>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Fautoml_tables\u002Fv1\u002F32px.svg\">\n            \u003Cbr>\u003Ca href=\"https:\u002F\u002Fcloud.google.com\u002Fvertex-ai\u002Fdocs\u002Ftraining-overview#tabular_data\" target=\"_blank\">AutoML Tables\u003C\u002Fa>\n        \u003C\u002Ftd>\n        \u003Ctd>\n            \u003Cdl>\n                \u003Cdt>Classification\u003C\u002Fdt>\n                    \u003Cdd>Binary\u003C\u002Fdd>\n                    \u003Cdd>Multi-class\u003C\u002Fdd>\n                \u003Cdt>Regression\u003C\u002Fdt>\n                \u003Cdt>Forecasting\u003C\u002Fdt>\n            \u003C\u002Fdl>\n        \u003C\u002Ftd>\n    \u003C\u002Ftr>\n    \u003Ctr>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fshort-term\u002Frelease\u002Fgooglesymbols\u002Fimage\u002Fdefault\u002F40px.svg\">\n            \u003Cbr>Image\n        \u003C\u002Ftd>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Fautoml_vision\u002Fv1\u002F32px.svg\">\n            \u003Cbr>\u003Ca href=\"https:\u002F\u002Fcloud.google.com\u002Fvertex-ai\u002Fdocs\u002Ftraining-overview#image_data\" target=\"_blank\">AutoML Image\u003C\u002Fa>\n        \u003C\u002Ftd>\n        \u003Ctd>\n            \u003Cdl>\n                \u003Cdt>Classification\u003C\u002Fdt>\n                    \u003Cdd>Single-label\u003C\u002Fdd>\n                    \u003Cdd>Multi-label\u003C\u002Fdd>\n                \u003Cdt>Object Detection\u003C\u002Fdt>\n            \u003C\u002Fdl>\n        \u003C\u002Ftd>\n    \u003C\u002Ftr>\n    \u003Ctr>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fshort-term\u002Frelease\u002Fgooglesymbols\u002Fvideocam\u002Fdefault\u002F40px.svg\">\n            \u003Cbr>Video\n        \u003C\u002Ftd>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Fautoml_video_intelligence\u002Fv1\u002F32px.svg\">\n            \u003Cbr>\u003Ca href=\"https:\u002F\u002Fcloud.google.com\u002Fvertex-ai\u002Fdocs\u002Ftraining-overview#video_data\" target=\"_blank\">AutoML Video\u003C\u002Fa>\n        \u003C\u002Ftd>\n        \u003Ctd>\n            \u003Cdl>\n                \u003Cdt>Classification\u003C\u002Fdt>\n                \u003Cdt>Object Detection\u003C\u002Fdt>\n                \u003Cdt>Action Recognition\u003C\u002Fdt>\n            \u003C\u002Fdl>\n        \u003C\u002Ftd>\n    \u003C\u002Ftr>\n    \u003Ctr>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fshort-term\u002Frelease\u002Fgooglesymbols\u002Ftext_snippet\u002Fdefault\u002F40px.svg\">\n            \u003Cbr>Text\n        \u003C\u002Ftd>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Fautoml_natural_language\u002Fv1\u002F32px.svg\">\n            \u003Cbr>\u003Ca href=\"https:\u002F\u002Fcloud.google.com\u002Fvertex-ai\u002Fdocs\u002Ftraining-overview#text_data\" target=\"_blank\">AutoML Text\u003C\u002Fa>\n        \u003C\u002Ftd>\n        \u003Ctd>\n            \u003Cdl>\n                \u003Cdt>Classification\u003C\u002Fdt>\n                    \u003Cdd>Single-label\u003C\u002Fdd>\n                    \u003Cdd>Multi-label\u003C\u002Fdd>\n                \u003Cdt>Entity Extraction\u003C\u002Fdt>\n                \u003Cdt>Sentiment Analysis\u003C\u002Fdt>\n            \u003C\u002Fdl>\n        \u003C\u002Ftd>\n    \u003C\u002Ftr>\n    \u003Ctr>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fshort-term\u002Frelease\u002Fgooglesymbols\u002Ftext_snippet\u002Fdefault\u002F40px.svg\">\n            \u003Cbr>Text\n        \u003C\u002Ftd>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Fautoml_translation\u002Fv1\u002F32px.svg\">\n            \u003Cbr>\u003Ca href=\"https:\u002F\u002Fcloud.google.com\u002Ftranslate\u002Fautoml\u002Fdocs\" target=\"_blank\">AutoML Translation\u003C\u002Fa>\n        \u003C\u002Ftd>\n        \u003Ctd>\n            Translation\n        \u003C\u002Ftd>\n    \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n### With Training Data\n\nThis work focuses on cases where you have training data:\n\n| Overview |\n:-------------------------:\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fstatmike_vertex-ai-mlops_readme_9a8081cda754.png)\n\n|AutoML|BigQuery ML|Vertex AI| Forecasting with AutoML, BigQuery ML, OSS Prophet |\n:---:|:---:|:---:|:---:\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fstatmike_vertex-ai-mlops_readme_bd87a3a395d5.png)|![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fstatmike_vertex-ai-mlops_readme_a4307643989c.png)|![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fstatmike_vertex-ai-mlops_readme_36378430e31f.png)|![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fstatmike_vertex-ai-mlops_readme_7f579d283932.png)\n\n### Vertex AI For ML Training\n\n\u003Cp align=\"center\" width=\"100%\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fstatmike_vertex-ai-mlops_readme_7c90dc676122.png\" width=\"45%\">\n           \n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fstatmike_vertex-ai-mlops_readme_9b2be7cecb94.png\" width=\"45%\">\n\u003C\u002Fp>\n\n---\n\u003Ca id = 'vertex'>\u003C\u002Fa>\n## Vetex AI\n\nVetex AI is a platform for end-to-end model development.  It consist of core components that make the processes of MLOps possible for design patterns of all types.\n\n\u003Cp align=\"center\">\n  \u003Cimg alt=\"Components\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fstatmike_vertex-ai-mlops_readme_c4be9bbb4d40.png\" width=\"45%\">\n       \n  \u003Cimg alt=\"Console\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fstatmike_vertex-ai-mlops_readme_9a68e4bb7ffe.png\" width=\"45%\">\n\u003C\u002Fp>\n\n---\n\u003Ca id = 'vertexsdk'>\u003C\u002Fa>\n## Interacting with Vertex AI\nMany Vertex AI resources can be viewed and monitored directly in the [GCP Console](https:\u002F\u002Fconsole.cloud.google.com\u002Fvertex-ai).  Vertex AI resources are primarily created, and modified with the [Vertex AI API](https:\u002F\u002Fcloud.google.com\u002Fvertex-ai\u002Fdocs\u002Freference).  \n\nThe API is accessible from:\n- the command line with [`gcloud ai`](https:\u002F\u002Fcloud.google.com\u002Fsdk\u002Fgcloud\u002Freference\u002Fai), \n- [REST](https:\u002F\u002Fcloud.google.com\u002Fvertex-ai\u002Fdocs\u002Freference\u002Frest),\n- [gRPC](https:\u002F\u002Fcloud.google.com\u002Fvertex-ai\u002Fdocs\u002Freference\u002Frpc), \n- or the [client libraries](https:\u002F\u002Fcloud.google.com\u002Fvertex-ai\u002Fdocs\u002Fstart\u002Fclient-libraries) (built on top of gRPC) for\n    - [Python](https:\u002F\u002Fcloud.google.com\u002Fpython\u002Fdocs\u002Freference\u002Faiplatform\u002Flatest), \n    - [Java](https:\u002F\u002Fcloud.google.com\u002Fjava\u002Fdocs\u002Freference\u002Fgoogle-cloud-aiplatform\u002Flatest\u002Foverview), and \n    - [Node.js](https:\u002F\u002Fcloud.google.com\u002Fnodejs\u002Fdocs\u002Freference\u002Faiplatform\u002Flatest).  \n\nThe notebooks in this repository primarily use the Python client `aiplatform`.  There is occasional use of `aiplatform.gapic`,  `aiplatform_v1` and `aiplatform_v1beta1`.\n\nFor the full details on the APIs versions and layers and how\u002Fwhen to use each, [see this helpful note](.\u002FTips\u002Faiplatform_notes.md).\n\n**Install the Vertex AI Python Client**\n```python\npip install google-cloud-aiplatform\n```\n\n**Example Usage: Listing all Models in Vertex AI Model Registry**\n```python\nPROJECT = 'statmike-mlops-349915'\nREGION = 'us-central1'\n\n# List all models for project in region with: aiplatform\nfrom google.cloud import aiplatform\naiplatform.init(project = PROJECT, location = REGION)\n\nmodel_list = aiplatform.Model.list()\n```\n\n---\n\u003Ca id = 'setup'>\u003C\u002Fa>\n## Setup\n\nThe demonstrations are presented in a series of notebooks that are best run in JupyterLab. These can be reviewed directly in [this repository on GitHub](https:\u002F\u002Fgithub.com\u002Fstatmike\u002Fvertex-ai-mlops) or cloned to your Jupyter instance on [Vertex AI Workbench Instances](https:\u002F\u002Fcloud.google.com\u002Fvertex-ai\u002Fdocs\u002Fworkbench\u002Finstances\u002Fintroduction).\n\n### Option 1: Review And Use Individual Files\n\nSelect the files and review them directly in the browser or IDE of your choice.  This can be helpful for general understanding and selecting sections to copy\u002Fpaste to your project.  Some options to get a local copy of this repositories content:\n- use git: `git clone https:\u002F\u002Fgithub.com\u002Fstatmike\u002Fvertex-ai-mlops`\n- use `wget` to copy individual files directly from GitHub:\n    - Go to the notebook on GitHub.com and right-click the download link. Then select copy link address.\n    - Alternatively, click the Raw button on GitHub and then copy the URL that loads.\n    - Run the following from a notebook cell or directly from a terminal (without the !). Note the slightly different address that points directly to raw content on GitHub.\n        - `!wget \"https:\u002F\u002Fraw.githubusercontent.com\u002Fstatmike\u002Fvertex-ai-mlops\u002Fmain\u002F\u003Cpath and filename>.ipynb\"`\n- Use [Colab](https:\u002F\u002Fcolab.research.google.com\u002F) (and soon [Vetex AI Enterprise Colab](https:\u002F\u002Fcloud.google.com\u002Fvertex-ai\u002Fdocs\u002Fcolab\u002Fcreate-console-quickstart)) to open the notebooks. Many of the notebooks have section at the top with buttons for opening directly in Colab.  Some notebooks don't yet have this feature and some use local Docker which is not available on Colab.  \n\n### Option 2: Run These Notebooks in a Vertex AI Workbench based Notebook \n\nTL;DR\n> In Google Cloud Console, Select\u002FCreate a Project then go to Vertex AI > Workbench > Instances\n> - Create a new notebook and Open JupyterLab\n> - Clone this repository using Git Menu, Open and run `00 - Environment Setup.ipynb`\n\n1. Create a Project\n   1. [Link](https:\u002F\u002Fconsole.cloud.google.com\u002Fcloud-resource-manager), Alternatively, go to: Console > IAM & Admin > Manage Resources\n   1. Click \"+ Create Project\"\n   1. Provide: name, billing account, organization, location\n   1. Click \"Create\"\n1. Enable the APIs: Vertex AI API and Notebooks API\n   1. [Link](https:\u002F\u002Fconsole.cloud.google.com\u002Fflows\u002Fenableapi?apiid=aiplatform.googleapis.com,notebooks.googleapis.com)\n      1. Alternatively, go to: \n         1. Console > Vertex AI, then enable API\n         1. Then Console > Vertex AI > Workbench, then enable API\n1. Create A Notebook with [Vertex AI Workbench Instances](https:\u002F\u002Fcloud.google.com\u002Fvertex-ai\u002Fdocs\u002Fworkbench\u002Finstances\u002Fintroduction):\n    1. Go to: Console > Vertex AI > Workbench > Instances - [direct link](https:\u002F\u002Fconsole.cloud.google.com\u002Fvertex-ai\u002Fworkbench\u002Finstances)\n    1. Create a new instance - [instructions](https:\u002F\u002Fcloud.google.com\u002Fvertex-ai\u002Fdocs\u002Fworkbench\u002Finstances\u002Fcreate)    \n    1. Once it is started, click the `Open JupyterLab` link.\n    1. Clone this repository to the JupyterLab instance:\n        1. Either:\n            1. Go to the `Git` menu and choose `Clone a Repository`\n            1. Choose the Git icon on the left toolbar and click `Clone a Repository`\n        1. Provide the Clone URI of this repository: [https:\u002F\u002Fgithub.com\u002Fstatmike\u002Fvertex-ai-mlops.git](https:\u002F\u002Fgithub.com\u002Fstatmike\u002Fvertex-ai-mlops.git)\n        1. In the File Browser you will now have the folder \"vertex-ai-mlops\" that contains the files from this repository\n1. Setup the Notebook Environment for these workflows\n   1. Open the notebook vertex-ai-mlops\u002F00 - Environment Setup\n   1. Follow the instructions and run the cells\n\nResources on these items:\n- [Google Cloud Projects](https:\u002F\u002Fcloud.google.com\u002Fresource-manager\u002Fdocs\u002Fcreating-managing-projects)\n- [Vertex AI environment](https:\u002F\u002Fcloud.google.com\u002Fvertex-ai\u002Fdocs\u002Fstart\u002Fcloud-environment)\n- [Introduction to Vertex AI Workbench](https:\u002F\u002Fcloud.google.com\u002Fvertex-ai\u002Fdocs\u002Fworkbench\u002Fintroduction)\n- [Create a Vetex AI Workbench Instance](https:\u002F\u002Fcloud.google.com\u002Fvertex-ai\u002Fdocs\u002Fworkbench\u002Finstances\u002Fcreate-console-quickstart)\n\n---\n\u003Ca id = 'helpful'>\u003C\u002Fa>\n## Helpful Sections\n- [Learning Machine Learning](.\u002FLearn%20ML\u002Freadme.md)\n    - I often get asked \"How do I learn about ML?\".  There are lots of good answers. ....\n- [Explorations](.\u002FExplorations\u002Freadme.md)\n    - This is a series of projects for exploring new, new-to-me, and emerging tools in the ML world!\n- [Tips](.\u002FTips\u002Freadme.md)\n    - Tips for using the repository and notebooks with examples of core skills like building containers, parameterizing jobs and interacting with other GCP services. These tips help with scaling jobs and developing them with a focus on CI\u002FCD.\n\n---\n\u003Ca id = 'resources'>\u003C\u002Fa>\n## More Resources Like This Repository\n\nThis is my personal repository of demonstrations I use for learning and sharing Vertex AI.  There are many more resources available.  Within each notebook I have included a resources section and a related training section. \n\n- GitHub [Many Examples For Real World Scenarios!](https:\u002F\u002Fgithub.com\u002Fjchavezar\u002Fvertex-ai-samples) by [@jcavezar](https:\u002F\u002Fgithub.com\u002Fjchavezar)\n- GitHub [GoogleCloudPlatform\u002Fvertex-ai-samples](https:\u002F\u002Fgithub.com\u002FGoogleCloudPlatform\u002Fvertex-ai-samples)\n- GitHub [GoogleCloudPlatform\u002Fmlops-with-vertex-ai](https:\u002F\u002Fgithub.com\u002FGoogleCloudPlatform\u002Fmlops-with-vertex-ai)\n- [Overview of Data Science on Google Cloud](https:\u002F\u002Fcloud.google.com\u002Fdata-science)\n\n\n","![追踪器](https:\u002F\u002Fus-central1-vertex-ai-mlops-369716.cloudfunctions.net\u002Fpixel-tracking?path=statmike%2Fvertex-ai-mlops&file=readme.md)\n\u003C!--- 表头 --->\n\u003Ctable>\n\u003Ctr>     \n  \u003Ctd style=\"text-align: center\">\n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fstatmike\u002Fvertex-ai-mlops\u002Fblob\u002Fmain\u002Freadme.md\">\n      \u003Cimg width=\"32px\" src=\"https:\u002F\u002Fwww.svgrepo.com\u002Fdownload\u002F217753\u002Fgithub.svg\" alt=\"GitHub标志\">\n      \u003Cbr>在\u003Cbr>GitHub上查看\n    \u003C\u002Fa>\n  \u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n  \u003Ctd style=\"text-align: right\">\n    \u003Cb>分享至：\u003C\u002Fb> \n    \u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fsharing\u002Fshare-offsite\u002F?url=https:\u002F\u002Fgithub.com\u002Fstatmike\u002Fvertex-ai-mlops\u002Fblob\u002Fmain\u002Freadme.md\">\u003Cimg src=\"https:\u002F\u002Fupload.wikimedia.org\u002Fwikipedia\u002Fcommons\u002F8\u002F81\u002FLinkedIn_icon.svg\" alt=\"领英标志\" width=\"20px\">\u003C\u002Fa> \n    \u003Ca href=\"https:\u002F\u002Freddit.com\u002Fsubmit?url=https:\u002F\u002Fgithub.com\u002Fstatmike\u002Fvertex-ai-mlops\u002Fblob\u002Fmain\u002Freadme.md\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fstatmike_vertex-ai-mlops_readme_57d4f32afa09.png\" alt=\"Reddit标志\" width=\"20px\">\u003C\u002Fa> \n    \u003Ca href=\"https:\u002F\u002Fbsky.app\u002Fintent\u002Fcompose?text=https:\u002F\u002Fgithub.com\u002Fstatmike\u002Fvertex-ai-mlops\u002Fblob\u002Fmain\u002Freadme.md\">\u003Cimg src=\"https:\u002F\u002Fupload.wikimedia.org\u002Fwikipedia\u002Fcommons\u002F7\u002F7a\u002FBluesky_Logo.svg\" alt=\"BlueSky标志\" width=\"20px\">\u003C\u002Fa> \n    \u003Ca href=\"https:\u002F\u002Ftwitter.com\u002Fintent\u002Ftweet?url=https:\u002F\u002Fgithub.com\u002Fstatmike\u002Fvertex-ai-mlops\u002Fblob\u002Fmain\u002Freadme.md\">\u003Cimg src=\"https:\u002F\u002Fupload.wikimedia.org\u002Fwikipedia\u002Fcommons\u002F5\u002F5a\u002FX_icon_2.svg\" alt=\"X（Twitter）标志\" width=\"20px\">\u003C\u002Fa> \n  \u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n  \u003Ctd style=\"text-align: right\">\n    \u003Cb>与作者联系：\u003C\u002Fb> \n    \u003Ca href=\"https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fstatmike\">\u003Cimg src=\"https:\u002F\u002Fupload.wikimedia.org\u002Fwikipedia\u002Fcommons\u002F8\u002F81\u002FLinkedIn_icon.svg\" alt=\"领英标志\" width=\"20px\">\u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fwww.github.com\u002Fstatmike\">\u003Cimg src=\"https:\u002F\u002Fwww.svgrepo.com\u002Fdownload\u002F217753\u002Fgithub.svg\" alt=\"GitHub标志\" width=\"20px\">\u003C\u002Fa> \n    \u003Ca href=\"https:\u002F\u002Fwww.youtube.com\u002F@statmike-channel\">\u003Cimg src=\"https:\u002F\u002Fupload.wikimedia.org\u002Fwikipedia\u002Fcommons\u002Ff\u002Ffd\u002FYouTube_full-color_icon_%282024%29.svg\" alt=\"YouTube标志\" width=\"20px\">\u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fbsky.app\u002Fprofile\u002Fstatmike.bsky.social\">\u003Cimg src=\"https:\u002F\u002Fupload.wikimedia.org\u002Fwikipedia\u002Fcommons\u002F7\u002F7a\u002FBluesky_Logo.svg\" alt=\"BlueSky标志\" width=\"20px\">\u003C\u002Fa> \n    \u003Ca href=\"https:\u002F\u002Fx.com\u002Fstatmike\">\u003Cimg src=\"https:\u002F\u002Fupload.wikimedia.org\u002Fwikipedia\u002Fcommons\u002F5\u002F5a\u002FX_icon_2.svg\" alt=\"X（Twitter）标志\" width=\"20px\">\u003C\u002Fa>\n  \u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n  \u003Ctd style=\"text-align: right\">\n    \u003Ca href=\"https:\u002F\u002Fraw.githubusercontent.com\u002Fstatmike\u002Fvertex-ai-mlops\u002Fmain\u002Freadme.md\">\u003Cimg src=\"https:\u002F\u002Fwww.svgrepo.com\u002Fdownload\u002F5445\u002Fdownload-button.svg\" alt=\"下载图标\" width=\"20px\">\u003C\u002Fa> \u003Ca href=\"https:\u002F\u002Fraw.githubusercontent.com\u002Fstatmike\u002Fvertex-ai-mlops\u002Fmain\u002Freadme.md\">下载文件\u003C\u002Fa> \u003Ci>（右键选择“另存为”）\u003C\u002Fi>\n  \u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003C\u002Ftable>\u003Cbr\u002F>\u003Cbr\u002F>\n\n---\n# Vertex AI 用于机器学习运维\n\n>**2025年更新：** 该仓库正朝着以 MLOps 为中心的预测性和生成式 AI 运维方法发展。\n>\n>仓库的主要重点是以下领域的新内容：\n>- MLOps\n>- 框架\n>- 应用*\n>   - 主要是应用型生成式 AI 和应用型预测\n>\n>2025年将有哪些变化：\n>- `\u002FMLOps` 文件夹中将包含更多 MLOps 内容\n>- `Applied GenAI` 文件夹中将对生成式 AI 工具进行详细回顾\n>- `Frameworks` 文件夹中将提供大量框架特定的工作流\n>- 所有编号文件夹将被迁移至这些主文件夹\n>- 所有“应用*”文件夹将合并为一个“应用工作流”文件夹，并按主题划分子文件夹：生成式 AI、预测等\n>- 本 readme.md 文件将被完全重写\n>- 被认为过时的内容将被移至名为 `legacy` 的子文件夹，并更新相关链接。\n\n>**2024年更新：** 本仓库正在从针对各种框架的端到端工作流，演变为以 MLOps 为导向的预测性和生成式 AI 运维开发方法。新方法正在 [MLOps](.\u002FMLOps\u002Freadme.md) 文件夹中开发。一旦接近完成，本仓库的内容将重新组织为以下结构：\n>- MLOps\n>    - 流水线\n>    - 实验\n>    - 特征存储\n>    - 模型监控\n>    - …\n>- 应用示例\n>    - 预测\n>    - 生产式 AI\n>    - …\n>- 框架工作流\n>    - BigQuery ML\n>    - TensorFlow\n>    - scikit-learn\n>    - …\n\n\u003Cp align=\"center\">\u003Ccenter>\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fstatmike_vertex-ai-mlops_readme_3fd7537bb486.png\" width=\"90%\">\n\u003C\u002Fcenter>\u003Cp>\n\n\n\n---\n> 这是本仓库转型前的原始自述文件。待内容重组完成后并将上述信息整合进去后，此文件将被删除。  \n\n## 👋 我是 Mike\n\n我想与您分享并启用来自 [Google Cloud](https:\u002F\u002Fcloud.google.com\u002Fvertex-ai) 的 [Vertex AI](https:\u002F\u002Fcloud.google.com\u002Fvertex-ai\u002Fdocs\u002Fstart\u002Fintroduction-unified-platform)。这里的目标是分享一套全面的机器学习端到端工作流，涵盖从数据到模型再到服务和管理的全过程，甚至实现流程自动化。无论您的数据类型、技能水平或框架偏好如何，您都能在这里找到有用的内容。您甚至可以提出自己的需求，我可能会将其纳入后续更新中！\n\n\u003Cp align=\"center\" width=\"100%\">\u003Ccenter>\n    \u003Ca href=\"https:\u002F\u002Fyoutu.be\u002FsnUEwsft1wY\" target=\"_blank\" rel=\"noopener noreferrer\">\n      \u003Ckbd>\u003Cimg width=\"50%\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fstatmike_vertex-ai-mlops_readme_5f94fb3321d2.png\">\u003C\u002Fkbd>\n    \u003C\u002Fa>\n\u003C\u002Fcenter>\u003C\u002Fp>\n\u003Cp align=\"center\">点击观看 YouTube 视频\u003C\u002Fp>\n\u003Cp align=\"center\">点击 \u003Ca href=\"https:\u002F\u002Fyoutube.com\u002Fplaylist?list=PLgxF613RsGoUuEjJJxJW2JYyZ8g1qOUou\" target=\"_blank\" rel=\"noopener noreferrer\">此处\u003C\u002Fa> 查看本仓库当前播放列表\u003C\u002Fp>\n\n---\n## 跟踪\n\n为了更好地了解哪些内容对用户最有帮助，本仓库在每个 Markdown（`.md`）和笔记本（`.ipynb`）文件中都使用了跟踪像素。**不会收集任何用户或位置数据。** 所记录的信息仅包括内容已被渲染\u002F查看，从而为我们提供每日使用次数统计。如果您对此有任何疑虑，请在 [仓库讨论区](https:\u002F\u002Fgithub.com\u002Fstatmike\u002Fvertex-ai-mlops\u002Fdiscussions) 中提出，我也很乐意为您提供不含跟踪功能的分支版本。\n\n仓库中提供了脚本 `pixel_remove.py`，位于 [pixel](.\u002Farchitectures\u002Ftracking\u002Fsetup\u002Fpixel\u002Freadme.md) 文件夹内，可用于从您本地副本中移除此类跟踪。此外，本自述文件还包含了创建跟踪功能的完整代码，供您参考复制或深入理解。\n\n---\n\n## 本仓库采用的方法\n\n本仓库以工作流的形式呈现，主要使用交互式 Python 笔记本文件（`.ipynb`）。为什么选择这种方式呢？因为这些笔记本易于审查、分享和迁移，同时兼具代码与叙述性内容。叙述部分可以使用纯文本、Markdown 和\u002F或 HTML 编写，从而轻松实现可视化说明。这进一步强化了本仓库的目标：提供易于访问、可移植的信息，并作为您自身工作的良好起点。\n\n在笔记本中，代码的执行是由本地计算资源驱动的。在本仓库中，这意味着当前的 Python 代码是在笔记本所关联的计算环境中运行的。该仓库中的代码大量依赖于在 GCP 中编排服务，而不是在笔记本所在的本地环境中进行数据计算。因此，这些笔记本被设计为可以在较小的机器规格上运行，例如 `n1-standard2` 实例。而繁重的训练和推理任务则由 Vertex AI、BigQuery 等 Google Cloud 服务来完成。您甚至会发现一些笔记本不仅编写代码，还会将代码部署到 Vertex AI 自定义训练和 Vertex AI 流水线等服务中。\n\n此外，仓库中也有一些部分使用其他语言，如 R，以及创建与笔记本无关的外部文件，例如 `Dockerfile`、`.py` 脚本和模块等。\n\n本仓库中的代码具有明确的观点和风格，既不完全适合直接投入生产环境，也不仅仅是临时性的探索性代码。它介于从探索到部署的连续体之间，目标是从“Hello World”逐步过渡到 CI\u002FCD\u002FCT 流程。在我们的日常数据科学工作中，这一过程可以大致分为以下阶段：\n\n\u003Cp align=\"center\" width=\"100%\">\u003Ccenter>\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fstatmike_vertex-ai-mlops_readme_64e31ca00914.png\">\n\u003C\u002Fcenter>\u003C\u002Fp>\n\n在 **探索** 阶段，一切都是边写代码边尝试。随着探索的深入，某些想法逐渐显现出价值，需要进一步开发。\n\n在 **开发** 阶段，通常采取以下步骤：\n- 让其运行起来\n    - 构建一个可用的端到端流程\n- 进行代码清理\n    - 重新审视代码，移除不再需要的部分，并根据新学到的知识重新组织结构\n- 使其通用化\n    - 引入参数化\n    - 使用函数\n    - 控制流程：开始加入逻辑以检查边界条件\n- 进行优化\n    - 更好地利用数据结构来优化执行期间的数据处理\n    - 在兼顾可读性（即可维护性）和计算效率的前提下，优化执行时间\n\n在许多情况下，从开发到 **部署** 的过程非常简单：\n- 定时运行笔记本——这几乎相当于跳过了 **开发** 阶段\n- 部署流水线\n- 创建云函数\n\n然而，不可避免的是，当某个工作流程展现出价值时，在真正 **部署** 之前往往还需要付出更多的努力：\n- 错误处理\n- 单元测试\n- 将专用代码转化为通用代码：\n    - 使用类\n    - 更好地管理环境配置\n\n那么，本仓库中的代码处于哪个阶段呢？它位于 **开发** 阶段的后期，具备良好的可读性和适应性。\n\n\u003Cp align=\"center\" width=\"100%\">\u003Ccenter>\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fstatmike_vertex-ai-mlops_readme_01e40bbfd99a.png\">\n\u003C\u002Fcenter>\u003C\u002Fp>\n\n---\n## 目录\n- [注意事项](#considerations)\n- [概述](#overview)\n- [Vertex AI](#vertex)\n- [与 Vertex AI 交互](#vertexsdk)\n- [设置](#setup)\n- [实用章节](#helpful)\n- [更多资源](#resources)\n\n---\n\u003Ca id = 'considerations'>\u003C\u002Fa>\n## 注意事项\n\n### 数据类型\n\n- 表格：以行和列形式存储的结构化数据\n- 语言：用于翻译和\u002F或理解的文本\n- 视觉：图像\n- 视频\n\n### 方便程度\n\n- 使用预训练 API\n- 自动化构建自定义模型\n- 使用您选择的框架中的核心工具，实现端到端的自定义机器学习\n\n### 框架偏好\n\n- [Scikit-learn](https:\u002F\u002Fscikit-learn.org\u002Fstable\u002Findex.html)\n- [XGBoost](https:\u002F\u002Fxgboost.readthedocs.io\u002Fen\u002Flatest\u002F)\n- [TensorFlow](https:\u002F\u002Fwww.tensorflow.org\u002F)\n- [PyTorch](https:\u002F\u002Fpytorch.org\u002F)\n- [Spark MLlib](https:\u002F\u002Fspark.apache.org\u002Fdocs\u002Flatest\u002Fml-guide.html)\n- [R](https:\u002F\u002Fwww.r-project.org\u002F)\n- [Julia](https:\u002F\u002Fjulialang.org\u002F)\n- 更多！\n\n---\n\u003Ca id = 'overview'>\u003C\u002Fa>\n## 概述\n\n这是一个系列的工作流演示，它们使用相同的数据源，通过不同的框架和自动化手段来构建并部署同一个机器学习模型。这些演示旨在帮助您快速了解和学习 Vertex AI，并为新项目提供起点。\n\n这些演示专注于工作流本身，不会深入探讨各个机器学习框架的具体细节，而是着重介绍如何与 Vertex AI 集成及实现自动化。如果您有更多工作流的想法或希望添加的细节，请随时告诉我！\n\n为了更好地理解本仓库的内容，以下图表展示了内容的分类方式。\n\n| 方向 |\n:-------------------------:\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fstatmike_vertex-ai-mlops_readme_bd9041820c72.png)\n\n### 预训练 API\n\u003Ctable style='text-align:center;vertical-align:middle' width=\"100%\" cellpadding=\"1\" cellspacing=\"0\">\n    \u003Ctr>\n        \u003Cth colspan='4'>预训练模型\u003C\u002Fth>\n        \u003Cth rowspan='2'>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Fautoml\u002Fv1\u002F32px.svg\">\n            \u003Ca href=\"https:\u002F\u002Fcloud.google.com\u002Fvertex-ai\u002Fdocs\u002Fbeginner\u002Fbeginners-guide\" target=\"_blank\">AutoML\u003C\u002Fa>\n        \u003C\u002Fth>\n    \u003C\u002Ftr>\n    \u003Ctr>\n        \u003Cth>数据类型\u003C\u002Fth>\n        \u003Cth>预训练模型\u003C\u002Fth>\n        \u003Cth>预测类型\u003C\u002Fth>\n        \u003Cth>相关解决方案\u003C\u002Fth>\n    \u003C\u002Ftr>\n    \u003Ctr>\n        \u003Ctd rowspan='2'>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fshort-term\u002Frelease\u002Fgooglesymbols\u002Ftext_snippet\u002Fdefault\u002F40px.svg\">\n            \u003Cbr>文本\n        \u003C\u002Ftd>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Fcloud_translation_api\u002Fv1\u002F32px.svg\">\n            \u003Cbr>\u003Ca href=\"https:\u002F\u002Fcloud.google.com\u002Ftranslate\u002Fdocs\u002Foverview\" target=\"_blank\">Cloud Translation API\u003C\u002Fa>\n        \u003C\u002Ftd>\n        \u003Ctd>检测、翻译\u003C\u002Ftd>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Ftext-to-speech\u002Fv1\u002F32px.svg\">\n            \u003Cbr>\u003Ca href=\"https:\u002F\u002Fcloud.google.com\u002Ftext-to-speech\u002Fdocs\u002Fbasics\" target=\"_blank\">Cloud Text-to-Speech\u003C\u002Fa>\n        \u003C\u002Ftd>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Fautoml_translation\u002Fv1\u002F32px.svg\">\n            \u003Cbr>\u003Ca href=\"https:\u002F\u002Fcloud.google.com\u002Ftranslate\u002Fautoml\u002Fdocs\" target=\"_blank\">AutoML Translation\u003C\u002Fa>\n        \u003C\u002Ftd>\n    \u003C\u002Ftr>\n            \u003Ctr>\n                \u003Ctd>\n                   \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Fcloud_natural_language_api\u002Fv1\u002F32px.svg\">\n                   \u003Cbr>\u003Ca href=\"https:\u002F\u002Fcloud.google.com\u002Fnatural-language\u002Fdocs\u002Fquickstarts\" target=\"_blank\">Cloud Natural Language API\u003C\u002Fa>\n                \u003C\u002Ftd>\n                \u003Ctd>\n                    实体（识别和标记）、情感分析、实体情感分析、语法分析、内容分类\n                \u003C\u002Ftd>\n                \u003Ctd>\n                    \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Fhealthcare_nlp_api\u002Fv1\u002F32px.svg\">\n                    \u003Cbr>\u003Ca href=\"https:\u002F\u002Fcloud.google.com\u002Fhealthcare-api\u002Fdocs\u002Fhow-tos\u002Fnlp\" target=\"_blank\">Healthceare Natural Language API\u003C\u002Fa>\n                \u003C\u002Ftd>\n                \u003Ctd>\n                    \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Fautoml_natural_language\u002Fv1\u002F32px.svg\">\n                    \u003Cbr>\u003Ca href=\"https:\u002F\u002Fcloud.google.com\u002Fvertex-ai\u002Fdocs\u002Ftraining-overview#text_data\" target=\"_blank\">AutoML 文本\u003C\u002Fa>\n            \u003C\u002Ftr>\n    \u003Ctr>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fshort-term\u002Frelease\u002Fgooglesymbols\u002Fimage\u002Fdefault\u002F40px.svg\">\n            \u003Cbr>图像\n        \u003C\u002Ftd>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Fcloud_vision_api\u002Fv1\u002F32px.svg\">\n            \u003Cbr>\u003Ca href=\"https:\u002F\u002Fcloud.google.com\u002Fvision\u002Fdocs\u002Ffeatures-list\" target=\"_blank\">Cloud Vision API\u003C\u002Fa>\n        \u003C\u002Ftd>\n        \u003Ctd>\n            裁剪提示、OCR、人脸检测、图像属性、标签检测、地标检测、徽标检测、目标定位、安全搜索、网页检测\n        \u003C\u002Ftd>\n        \u003Ctd>\n            \u003Ctable>\n                \u003Ctr>\n                    \u003Ctd>\n                        \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Fdocument_ai\u002Fv1\u002F32px.svg\">\n                        \u003Cbr>\u003Ca href=\"https:\u002F\u002Fcloud.google.com\u002Fdocument-ai\u002Fdocs\u002Fprocessors-list\" target=\"_blank\">Document AI\u003C\u002Fa>\n                    \u003C\u002Ftd>\n                    \u003Ctd>\n                        \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Fvisual_inspection\u002Fv1\u002F32px.svg\">\n                        \u003Cbr>\u003Ca href=\"\" taget=\"_blank\">Visual Inspection AI\u003C\u002Fa>\n                    \u003C\u002Ftd>\n                \u003C\u002Ftr>\n            \u003C\u002Ftable>\n        \u003C\u002Ftd>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Fautoml_vision\u002Fv1\u002F32px.svg\">\n            \u003Cbr>\u003Ca href=\"https:\u002F\u002Fcloud.google.com\u002Fvertex-ai\u002Fdocs\u002Ftraining-overview#image_data\" target=\"_blank\">AutoML 图像\u003C\u002Fa>\n        \u003C\u002Ftd>\n    \u003C\u002Ftr>\n    \u003Ctr>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fshort-term\u002Frelease\u002Fgooglesymbols\u002Fmic\u002Fdefault\u002F40px.svg\">\n            \u003Cbr>音频\n        \u003C\u002Ftd>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Fmedia_translation_api\u002Fv1\u002F32px.svg\">\n            \u003Cbr>\u003Ca href=\"https:\u002F\u002Fcloud.google.com\u002Fmedia-translation\" target=\"_blank\">Cloud Media Translation API\u003C\u002Fa>\n        \u003C\u002Ftd>\n        \u003Ctd>实时语音翻译\u003C\u002Ftd>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Fspeech-to-text\u002Fv1\u002F32px.svg\">\n            \u003Cbr>\u003Ca href=\"https:\u002F\u002Fcloud.google.com\u002Fspeech-to-text\u002Fdocs\u002Fbasics\" target=\"_blank\">Cloud Speech-to-Text\u003C\u002Fa>\n        \u003C\u002Ftd>\n        \u003Ctd>\u003C\u002Ftd>\n    \u003C\u002Ftr>\n    \u003Ctr>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fshort-term\u002Frelease\u002Fgooglesymbols\u002Fvideocam\u002Fdefault\u002F40px.svg\">\n            \u003Cbr>视频\n        \u003C\u002Ftd>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Fvideo_intelligence_api\u002Fv1\u002F32px.svg\">\n            \u003Cbr>\u003Ca href=\"https:\u002F\u002Fcloud.google.com\u002Fvideo-intelligence\u002Fdocs\u002Fquickstarts\" target=\"_blank\">Cloud Video Intelligence API\u003C\u002Fa>\n        \u003C\u002Ftd>\n        \u003Ctd>\n            标签检测*、镜头检测*、露骨内容检测*、语音转录、目标跟踪*、文本检测、徽标检测、人脸检测、人员检测、名人识别\n        \u003C\u002Ftd>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Fcloud_vision_api\u002Fv1\u002F32px.svg\">\n            \u003Cbr>\u003Ca href=\"https:\u002F\u002Fcloud.google.com\u002Fvision-ai\u002Fdocs\u002Foverview\" target=\"_blank\">Vertex AI Vision\u003C\u002Fa>\n        \u003C\u002Ftd>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Fautoml_video_intelligence\u002Fv1\u002F32px.svg\">\n            \u003Cbr>\u003Ca href=\"https:\u002F\u002Fcloud.google.com\u002Fvertex-ai\u002Fdocs\u002Ftraining-overview#video_data\" target=\"_blank\">AutoML 视频\u003C\u002Fa>\n        \u003C\u002Ftd>\n    \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n### AutoML\n\u003Ctable style='text-align:center;vertical-align:middle' width=\"100%\" cellpadding=\"1\" cellspacing=\"0\">\n    \u003Ctr>\n        \u003Cth colspan='3'>AutoML\u003C\u002Fth>\n    \u003C\u002Ftr>\n    \u003Ctr>\n        \u003Cth>数据类型\u003C\u002Fth>\n        \u003Cth>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Fautoml\u002Fv1\u002F32px.svg\">\n            \u003Cbr>\u003Ca href=\"https:\u002F\u002Fcloud.google.com\u002Fvertex-ai\u002Fdocs\u002Fbeginner\u002Fbeginners-guide\" target=\"_blank\">AutoML\u003C\u002Fa>\n        \u003C\u002Fth>\n        \u003Cth>预测类型\u003C\u002Fth>\n    \u003C\u002Ftr>\n    \u003Ctr>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fshort-term\u002Frelease\u002Fgooglesymbols\u002Ftable\u002Fdefault\u002F40px.svg\">\n            \u003Cbr>表格\n        \u003C\u002Ftd>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Fautoml_tables\u002Fv1\u002F32px.svg\">\n            \u003Cbr>\u003Ca href=\"https:\u002F\u002Fcloud.google.com\u002Fvertex-ai\u002Fdocs\u002Ftraining-overview#tabular_data\" target=\"_blank\">AutoML Tables\u003C\u002Fa>\n        \u003C\u002Ftd>\n        \u003Ctd>\n            \u003Cdl>\n                \u003Cdt>分类\u003C\u002Fdt>\n                    \u003Cdd>二分类\u003C\u002Fdd>\n                    \u003Cdd>多分类\u003C\u002Fdd>\n                \u003Cdt>回归\u003C\u002Fdt>\n                \u003Cdt>预测\u003C\u002Fdt>\n            \u003C\u002Fdl>\n        \u003C\u002Ftd>\n    \u003C\u002Ftr>\n    \u003Ctr>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fshort-term\u002Frelease\u002Fgooglesymbols\u002Fimage\u002Fdefault\u002F40px.svg\">\n            \u003Cbr>图像\n        \u003C\u002Ftd>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Fautoml_vision\u002Fv1\u002F32px.svg\">\n            \u003Cbr>\u003Ca href=\"https:\u002F\u002Fcloud.google.com\u002Fvertex-ai\u002Fdocs\u002Ftraining-overview#image_data\" target=\"_blank\">AutoML Image\u003C\u002Fa>\n        \u003C\u002Ftd>\n        \u003Ctd>\n            \u003Cdl>\n                \u003Cdt>分类\u003C\u002Fdt>\n                    \u003Cdd>单标签\u003C\u002Fdd>\n                    \u003Cdd>多标签\u003C\u002Fdd>\n                \u003Cdt>目标检测\u003C\u002Fdt>\n            \u003C\u002Fdl>\n        \u003C\u002Ftd>\n    \u003C\u002Ftr>\n    \u003Ctr>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fshort-term\u002Frelease\u002Fgooglesymbols\u002Fvideocam\u002Fdefault\u002F40px.svg\">\n            \u003Cbr>视频\n        \u003C\u002Ftd>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Fautoml_video_intelligence\u002Fv1\u002F32px.svg\">\n            \u003Cbr>\u003Ca href=\"https:\u002F\u002Fcloud.google.com\u002Fvertex-ai\u002Fdocs\u002Ftraining-overview#video_data\" target=\"_blank\">AutoML Video\u003C\u002Fa>\n        \u003C\u002Ftd>\n        \u003Ctd>\n            \u003Cdl>\n                \u003Cdt>分类\u003C\u002Fdt>\n                \u003Cdt>目标检测\u003C\u002Fdt>\n                \u003Cdt>动作识别\u003C\u002Fdt>\n            \u003C\u002Fdl>\n        \u003C\u002Ftd>\n    \u003C\u002Ftr>\n    \u003Ctr>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fshort-term\u002Frelease\u002Fgooglesymbols\u002Ftext_snippet\u002Fdefault\u002F40px.svg\">\n            \u003Cbr>文本\n        \u003C\u002Ftd>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Fautoml_natural_language\u002Fv1\u002F32px.svg\">\n            \u003Cbr>\u003Ca href=\"https:\u002F\u002Fcloud.google.com\u002Fvertex-ai\u002Fdocs\u002Ftraining-overview#text_data\" target=\"_blank\">AutoML Text\u003C\u002Fa>\n        \u003C\u002Ftd>\n        \u003Ctd>\n            \u003Cdl>\n                \u003Cdt>分类\u003C\u002Fdt>\n                    \u003Cdd>单标签\u003C\u002Fdd>\n                    \u003Cdd>多标签\u003C\u002Fdd>\n                \u003Cdt>实体抽取\u003C\u002Fdt>\n                \u003Cdt>情感分析\u003C\u002Fdt>\n            \u003C\u002Fdl>\n        \u003C\u002Ftd>\n    \u003C\u002Ftr>\n    \u003Ctr>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fshort-term\u002Frelease\u002Fgooglesymbols\u002Ftext_snippet\u002Fdefault\u002F40px.svg\">\n            \u003Cbr>文本\n        \u003C\u002Ftd>\n        \u003Ctd>\n            \u003Cimg src=\"https:\u002F\u002Ffonts.gstatic.com\u002Fs\u002Fi\u002Fgcpiconscolors\u002Fautoml_translation\u002Fv1\u002F32px.svg\">\n            \u003Cbr>\u003Ca href=\"https:\u002F\u002Fcloud.google.com\u002Ftranslate\u002Fautoml\u002Fdocs\" target=\"_blank\">AutoML Translation\u003C\u002Fa>\n        \u003C\u002Ftd>\n        \u003Ctd>\n            翻译\n        \u003C\u002Ftd>\n    \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n### 带有训练数据\n\n本工作专注于您拥有训练数据的情况：\n\n| 概述 |\n:-------------------------:\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fstatmike_vertex-ai-mlops_readme_9a8081cda754.png)\n\n|AutoML|BigQuery ML|Vertex AI| 使用 AutoML、BigQuery ML 和开源 Prophet 进行预测|\n:---:|:---:|:---:|:---:\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fstatmike_vertex-ai-mlops_readme_bd87a3a395d5.png)|![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fstatmike_vertex-ai-mlops_readme_a4307643989c.png)|![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fstatmike_vertex-ai-mlops_readme_36378430e31f.png)|![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fstatmike_vertex-ai-mlops_readme_7f579d283932.png)\n\n### Vertex AI 用于机器学习训练\n\n\u003Cp align=\"center\" width=\"100%\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fstatmike_vertex-ai-mlops_readme_7c90dc676122.png\" width=\"45%\">\n           \n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fstatmike_vertex-ai-mlops_readme_9b2be7cecb94.png\" width=\"45%\">\n\u003C\u002Fp>\n\n---\n\u003Ca id = 'vertex'>\u003C\u002Fa>\n## Vetex AI\n\nVetex AI 是一个端到端的模型开发平台。它由核心组件组成，这些组件使各种设计模式下的 MLOps 流程成为可能。\n\n\u003Cp align=\"center\">\n  \u003Cimg alt=\"组件\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fstatmike_vertex-ai-mlops_readme_c4be9bbb4d40.png\" width=\"45%\">\n       \n  \u003Cimg alt=\"控制台\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fstatmike_vertex-ai-mlops_readme_9a68e4bb7ffe.png\" width=\"45%\">\n\u003C\u002Fp>\n\n---\n\u003Ca id = 'vertexsdk'>\u003C\u002Fa>\n## 与 Vertex AI 交互\n许多 Vertex AI 资源可以直接在 [GCP 控制台](https:\u002F\u002Fconsole.cloud.google.com\u002Fvertex-ai) 中查看和监控。Vertex AI 资源主要通过 [Vertex AI API](https:\u002F\u002Fcloud.google.com\u002Fvertex-ai\u002Fdocs\u002Freference) 创建和修改。\n\n该 API 可通过以下方式访问：\n- 使用 [`gcloud ai`](https:\u002F\u002Fcloud.google.com\u002Fsdk\u002Fgcloud\u002Freference\u002Fai) 的命令行，\n- [REST](https:\u002F\u002Fcloud.google.com\u002Fvertex-ai\u002Fdocs\u002Freference\u002Frest),\n- [gRPC](https:\u002F\u002Fcloud.google.com\u002Fvertex-ai\u002Fdocs\u002Freference\u002Frpc), \n- 或基于 gRPC 构建的 [客户端库](https:\u002F\u002Fcloud.google.com\u002Fvertex-ai\u002Fdocs\u002Fstart\u002Fclient-libraries)，适用于\n    - [Python](https:\u002F\u002Fcloud.google.com\u002Fpython\u002Fdocs\u002Freference\u002Faiplatform\u002Flatest), \n    - [Java](https:\u002F\u002Fcloud.google.com\u002Fjava\u002Fdocs\u002Freference\u002Fgoogle-cloud-aiplatform\u002Flatest\u002Foverview), 和 \n    - [Node.js](https:\u002F\u002Fcloud.google.com\u002Fnodejs\u002Fdocs\u002Freference\u002Faiplatform\u002Flatest)。  \n\n本仓库中的笔记本主要使用 Python 客户端 `aiplatform`。偶尔也会使用 `aiplatform.gapic`、`aiplatform_v1` 和 `aiplatform_v1beta1`。\n\n有关 API 版本、层次以及如何\u002F何时使用每个版本的完整详细信息，请参阅[此帮助说明](.\u002FTips\u002Faiplatform_notes.md)。\n\n**安装 Vertex AI Python 客户端**\n```python\npip install google-cloud-aiplatform\n```\n\n**示例用法：列出 Vertex AI 模型注册表中的所有模型**\n```python\nPROJECT = 'statmike-mlops-349915'\nREGION = 'us-central1'\n\n# 使用 aiplatform 列出区域中项目的全部模型\nfrom google.cloud import aiplatform\naiplatform.init(project = PROJECT, location = REGION)\n\nmodel_list = aiplatform.Model.list()\n```\n\n---\n\u003Ca id = 'setup'>\u003C\u002Fa>\n## 设置\n\n演示以一系列笔记本的形式呈现，最好在 JupyterLab 中运行。这些笔记本可以在 [GitHub 上的此仓库](https:\u002F\u002Fgithub.com\u002Fstatmike\u002Fvertex-ai-mlops) 中直接查看，也可以克隆到您的 [Vertex AI Workbench 实例](https:\u002F\u002Fcloud.google.com\u002Fvertex-ai\u002Fdocs\u002Fworkbench\u002Finstances\u002Fintroduction) 上。\n\n### 选项 1：查看并使用单个文件\n\n选择文件，并在您选择的浏览器或 IDE 中直接查看。这有助于您对内容有一个总体了解，并挑选出需要复制粘贴到项目中的部分。以下是获取此仓库内容本地副本的一些方法：\n\n- 使用 Git：`git clone https:\u002F\u002Fgithub.com\u002Fstatmike\u002Fvertex-ai-mlops`\n- 使用 `wget` 直接从 GitHub 下载单个文件：\n    - 前往 GitHub.com 上的笔记本，右键点击下载链接，然后选择“复制链接地址”。\n    - 或者，点击 GitHub 上的“Raw”按钮，然后复制加载后的 URL。\n    - 在笔记本单元格中或直接在终端中运行以下命令（无需加 `!`）。请注意，URL 略有不同，它直接指向 GitHub 上的原始内容。\n        - `!wget \"https:\u002F\u002Fraw.githubusercontent.com\u002Fstatmike\u002Fvertex-ai-mlops\u002Fmain\u002F\u003C路径和文件名>.ipynb\"`\n- 使用 [Colab](https:\u002F\u002Fcolab.research.google.com\u002F)（以及即将推出的 [Vertex AI Enterprise Colab](https:\u002F\u002Fcloud.google.com\u002Fvertex-ai\u002Fdocs\u002Fcolab\u002Fcreate-console-quickstart)）打开这些笔记本。许多笔记本的顶部都有可以直接在 Colab 中打开的按钮。不过，有些笔记本尚未具备此功能，还有一些使用本地 Docker，而 Colab 不支持 Docker。\n\n### 选项 2：在 Vertex AI Workbench 上的 Notebook 中运行这些笔记本\n\n简而言之：\n> 在 Google Cloud 控制台中，选择或创建一个项目，然后转到 Vertex AI > Workbench > 实例\n> - 创建一个新的 Notebook 并打开 JupyterLab\n> - 使用 Git 菜单克隆此仓库，打开并运行 `00 - Environment Setup.ipynb`\n\n1. 创建一个项目\n   1. [链接](https:\u002F\u002Fconsole.cloud.google.com\u002Fcloud-resource-manager)，或者前往：控制台 > IAM 和管理 > 管理资源\n   1. 点击“+ 创建项目”\n   1. 提供名称、结算帐号、组织和位置\n   1. 点击“创建”\n1. 启用 API：Vertex AI API 和 Notebooks API\n   1. [链接](https:\u002F\u002Fconsole.cloud.google.com\u002Fflows\u002Fenableapi?apiid=aiplatform.googleapis.com,notebooks.googleapis.com)\n      1. 或者，前往：\n         1. 控制台 > Vertex AI，然后启用 API\n         1. 再前往控制台 > Vertex AI > Workbench，然后启用 API\n1. 使用 [Vertex AI Workbench 实例](https:\u002F\u002Fcloud.google.com\u002Fvertex-ai\u002Fdocs\u002Fworkbench\u002Finstances\u002Fintroduction) 创建一个 Notebook：\n    1. 前往：控制台 > Vertex AI > Workbench > 实例 - [直接链接](https:\u002F\u002Fconsole.cloud.google.com\u002Fvertex-ai\u002Fworkbench\u002Finstances)\n    1. 创建一个新的实例 - [说明](https:\u002F\u002Fcloud.google.com\u002Fvertex-ai\u002Fdocs\u002Fworkbench\u002Finstances\u002Fcreate)\n    1. 实例启动后，点击“Open JupyterLab”链接。\n    1. 将此仓库克隆到 JupyterLab 实例中：\n        1. 您可以选择：\n            1. 前往“Git”菜单，选择“Clone a Repository”\n            1. 或者在左侧工具栏上找到 Git 图标，点击“Clone a Repository”\n        1. 输入此仓库的克隆 URI：[https:\u002F\u002Fgithub.com\u002Fstatmike\u002Fvertex-ai-mlops.git](https:\u002F\u002Fgithub.com\u002Fstatmike\u002Fvertex-ai-mlops.git)\n        1. 在文件浏览器中，您将看到名为“vertex-ai-mlops”的文件夹，其中包含了此仓库的所有文件\n1. 为这些工作流设置 Notebook 环境\n   1. 打开 notebook vertex-ai-mlops\u002F00 - Environment Setup\n   1. 按照说明运行各个单元格\n\n相关资源：\n- [Google Cloud 项目](https:\u002F\u002Fcloud.google.com\u002Fresource-manager\u002Fdocs\u002Fcreating-managing-projects)\n- [Vertex AI 环境](https:\u002F\u002Fcloud.google.com\u002Fvertex-ai\u002Fdocs\u002Fstart\u002Fcloud-environment)\n- [Vertex AI Workbench 简介](https:\u002F\u002Fcloud.google.com\u002Fvertex-ai\u002Fdocs\u002Fworkbench\u002Fintroduction)\n- [创建 Vertex AI Workbench 实例](https:\u002F\u002Fcloud.google.com\u002Fvertex-ai\u002Fdocs\u002Fworkbench\u002Finstances\u002Fcreate-console-quickstart)\n\n---\n\u003Ca id = 'helpful'>\u003C\u002Fa>\n## 有用的部分\n- [学习机器学习](.\u002FLearn%20ML\u002Freadme.md)\n    - 我经常被问到：“我该如何学习机器学习？”有很多很好的答案……\n- [探索](.\u002FExplorations\u002Freadme.md)\n    - 这是一系列项目，用于探索机器学习领域中新的、对我来说是新事物的以及新兴的工具！\n- [技巧](.\u002FTips\u002Freadme.md)\n    - 关于如何使用该仓库和笔记本的技巧，包括构建容器、参数化作业以及与其他 GCP 服务交互等核心技能示例。这些技巧有助于扩展作业规模，并以 CI\u002FCD 为重点进行开发。\n\n---\n\u003Ca id = 'resources'>\u003C\u002Fa>\n## 类似本仓库的更多资源\n\n这是我个人用于学习和分享 Vertex AI 的演示仓库。还有许多其他可用资源。在每个笔记本中，我都添加了一个资源部分和相关的培训部分。\n\n- GitHub [真实场景的大量示例！](https:\u002F\u002Fgithub.com\u002Fjchavezar\u002Fvertex-ai-samples) 由 [@jcavezar](https:\u002F\u002Fgithub.com\u002Fjchavezar) 提供\n- GitHub [GoogleCloudPlatform\u002Fvertex-ai-samples](https:\u002F\u002Fgithub.com\u002FGoogleCloudPlatform\u002Fvertex-ai-samples)\n- GitHub [GoogleCloudPlatform\u002Fmlops-with-vertex-ai](https:\u002F\u002Fgithub.com\u002FGoogleCloudPlatform\u002Fmlops-with-vertex-ai)\n- [Google Cloud 上的数据科学概述](https:\u002F\u002Fcloud.google.com\u002Fdata-science)","# Vertex AI MLOps 快速上手指南\n\n本指南基于 `vertex-ai-mlops` 开源项目，旨在帮助开发者利用 Google Cloud Vertex AI 构建从数据准备、模型训练到部署监控的端到端机器学习运维（MLOps）工作流。本项目主要通过交互式 Python Notebook (`.ipynb`) 提供可复用的工作流示例。\n\n## 环境准备\n\n在开始之前，请确保满足以下系统要求和前置依赖：\n\n### 系统要求\n- **Google Cloud Platform (GCP) 账号**：已启用 Vertex AI、BigQuery 和 Cloud Storage API。\n- **开发环境**：\n  - 推荐直接使用 **Vertex AI Workbench** (JupyterLab 实例)，这是最兼容的运行环境。\n  - 或者本地环境需安装 Python 3.8+ 及 Jupyter Notebook\u002FLab。\n- **权限配置**：当前用户或服务账号需具备 `Vertex AI User`、`Storage Admin` 及相关资源的管理权限。\n\n### 前置依赖\n本项目核心依赖 Google Cloud SDK 和 Vertex AI Python 客户端库。若在非托管环境中运行，需安装以下基础包：\n\n```bash\npip install google-cloud-aiplatform google-cloud-bigquery google-cloud-storage ipywidgets\n```\n\n> **注意**：本仓库中的代码设计为在轻量级计算实例（如 `n1-standard-2`）上运行，繁重的训练和推理任务将自动卸载到 Vertex AI 和 BigQuery 服务执行，无需本地高性能 GPU。\n\n## 安装步骤\n\n本项目以代码仓库形式提供，无需传统的“安装”过程，只需克隆仓库并配置环境即可。\n\n### 1. 克隆仓库\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fstatmike\u002Fvertex-ai-mlops.git\ncd vertex-ai-mlops\n```\n\n### 2. 初始化 GCP 环境\n如果您在本地或新的 Workbench 实例中运行，请先设置项目 ID 和区域：\n\n```bash\nexport PROJECT_ID=\"your-gcp-project-id\"\nexport REGION=\"us-central1\"  # 或您选择的区域\n\ngcloud config set project $PROJECT_ID\ngcloud auth application-default login\n```\n\n### 3. 移除追踪像素（可选）\n该仓库默认包含用于统计阅读量的追踪像素。如需纯净版代码，可运行提供的脚本移除：\n\n```bash\npython architectures\u002Ftracking\u002Fsetup\u002Fpixel\u002Fpixel_remove.py\n```\n\n## 基本使用\n\n本项目的核心内容是位于各个文件夹下的 `.ipynb` Notebook 文件，它们展示了不同框架（如 Scikit-learn, TensorFlow, PyTorch）和场景（如预测、生成式 AI）的完整工作流。\n\n### 最简单的使用示例：运行一个端到端工作流\n\n以下示例展示如何在 Vertex AI Workbench 中启动一个典型的自动化训练流程。假设我们要运行一个基于表格数据的 AutoML 或自定义模型训练示例。\n\n1. **启动 JupyterLab**\n   在 Google Cloud Console 中打开 Vertex AI Workbench 实例，或通过本地 Jupyter 打开克隆的目录。\n\n2. **选择示例 Notebook**\n   导航至 `MLOps` 或 `Applied Workflows` 文件夹（根据 2025 更新结构），选择一个适合您需求的 Notebook，例如涉及表格数据分类的示例。\n\n3. **配置参数单元格**\n   打开 Notebook 后，首先运行顶部的配置单元格，定义项目和资源名称：\n\n```python\nPROJECT_ID = \"your-gcp-project-id\"\nREGION = \"us-central1\"\nDISPLAY_NAME = \"my-mlops-demo\"\nBUCKET_NAME = f\"{PROJECT_ID}-vertex-mlops\"  # 确保此 Bucket 已存在\n\nimport vertexai\nfrom vertexai.generative_models import GenerativeModel # 示例导入，具体依 Notebook 而定\n\nvertexai.init(project=PROJECT_ID, location=REGION)\n```\n\n4. **执行工作流**\n   按顺序运行 Notebook 中的单元格。这些单元格将自动执行以下操作：\n   - 从 BigQuery 加载数据。\n   - 创建 Vertex AI Dataset。\n   - 提交 Training Pipeline (Custom Training 或 AutoML)。\n   - 部署模型到 Endpoint。\n   - 发送测试预测请求。\n\n```python\n# 伪代码示例：提交训练任务\njob = aiplatform.CustomTrainingJob(\n    display_name=DISPLAY_NAME,\n    script_path=\"trainer\u002Ftask.py\",\n    container_uri=\"us-docker.pkg.dev\u002Fvertex-ai\u002Ftraining\u002Ftf-cpu.2-11:latest\",\n    requirements=[\"google-cloud-bigquery\"],\n    model_serving_container_image_uri=\"us-docker.pkg.dev\u002Fvertex-ai\u002Fprediction\u002Ftf-cpu.2-11:latest\",\n)\n\nmodel = job.run(\n    dataset=dataset,\n    model_display_name=DISPLAY_NAME,\n    replica_count=1,\n    machine_type=\"n1-standard-4\",\n    accelerator_type=\"NVIDIA_TESLA_T4\",\n    accelerator_count=1,\n    training_fraction_split=0.8,\n    validation_fraction_split=0.1,\n    test_fraction_split=0.1,\n)\n```\n\n5. **查看结果**\n   运行完成后，您可以在 Google Cloud Console 的 Vertex AI 面板中查看训练状态、模型评估指标以及部署的 Endpoint。\n\n### 下一步\n- 探索 `Frameworks` 文件夹以获取特定框架（如 BigQuery ML, Spark MLlib）的工作流。\n- 查看 `Applied GenAI` 文件夹了解生成式 AI 的应用案例。\n- 参考仓库中的架构图解理解从“探索”到“部署”的代码演进路径。","某电商公司的数据科学团队正致力于构建一个实时需求预测系统，以优化库存管理并支持生成式 AI 驱动的营销文案自动创作。\n\n### 没有 vertex-ai-mlops 时\n- **流程割裂严重**：数据科学家在本地笔记本训练模型，而工程师需手动重写代码才能部署到云端，导致“开发 - 生产”环境不一致，频繁出现运行报错。\n- **版本管理混乱**：缺乏统一的实验追踪机制，难以回溯哪个数据集或超参数组合产生了最佳预测效果，复现模型如同“大海捞针”。\n- **生成式 AI 落地难**：尝试引入大模型辅助 forecasting 时，因缺少标准化的推理管道和监控工具，导致响应延迟高且无法有效评估输出质量。\n- **运维成本高昂**：每次模型更新都需要人工干预重新配置资源，无法实现自动化持续集成与部署（CI\u002FCD），迭代周期长达数周。\n\n### 使用 vertex-ai-mlops 后\n- **端到端流水线打通**：利用预置的 MLOps 模板，团队直接将本地实验无缝迁移至 Vertex AI 托管管道，确保了从训练到推理的环境一致性，部署错误率降为零。\n- **全链路可追溯**：通过集成的元数据管理，自动记录每次实验的代码、数据和参数版本，团队成员可随时一键复现任意历史最佳模型。\n- **GenAI 工作流标准化**：借助 `Applied GenAI` 文件夹中的成熟范式，快速搭建了包含提示词工程、模型微调及效果评估的生成式 AI 流程，显著提升了预测准确性与文案生成效率。\n- **自动化运维升级**：建立了自动化的触发机制，当新销售数据流入时自动重新训练并部署模型，将迭代周期从数周缩短至数小时。\n\nvertex-ai-mlops 通过提供标准化的端到端工作流，将原本碎片化的 AI 开发过程转变为高效、可控且可自动化的工业生产体系。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fstatmike_vertex-ai-mlops_9b9405c3.png","statmike","Mike Henderson","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fstatmike_e72a1e4f.jpg","Making sense of data for a living (and for fun).\r\n\r\nI like to make complex things simple while maintaining the details.","@googlecloudplatform @sassoftware ","Saint Johns, Florida",null,"www.statmike.com","https:\u002F\u002Fgithub.com\u002Fstatmike",[82,86,90,94,98,101,104,107],{"name":83,"color":84,"percentage":85},"Jupyter Notebook","#DA5B0B",95.6,{"name":87,"color":88,"percentage":89},"HTML","#e34c26",3.9,{"name":91,"color":92,"percentage":93},"Python","#3572A5",0.5,{"name":95,"color":96,"percentage":97},"Makefile","#427819",0,{"name":99,"color":100,"percentage":97},"R","#198CE7",{"name":102,"color":103,"percentage":97},"Shell","#89e051",{"name":105,"color":106,"percentage":97},"Dockerfile","#384d54",{"name":108,"color":109,"percentage":97},"PureBasic","#5a6986",687,310,"2026-04-08T20:26:35","Apache-2.0","未说明","非必需。代码主要在 Google Cloud Vertex AI、BigQuery 等云端服务上运行，本地笔记本仅需最小化计算资源（如 n1-standard2）。","未说明（设计为在最小化机器尺寸上运行，重负载由云端承担）",{"notes":118,"python":114,"dependencies":119},"该工具主要是一系列交互式 Python 笔记本 (.ipynb)，用于演示 Google Cloud Vertex AI 的 MLOps 工作流。核心设计理念是‘轻本地、重云端’：本地环境仅用于编排和提交任务，实际的模型训练、数据处理和推理均在 Google Cloud (Vertex AI, BigQuery) 上执行。支持多种框架（Scikit-learn, TensorFlow, PyTorch, R 等）和数据类型（表格、文本、图像、视频）。需要配置 Google Cloud 账号及权限才能运行。",[120,121,122,123,124,125,126],"google-cloud-aiplatform (Vertex AI SDK)","pandas","scikit-learn","tensorflow","pytorch","xgboost","spark-mllib",[14,13],[129,130,131,132,133,134,135],"machine-learning","deep-learning","gcp","gcp-vertex-ai","mlops","mlops-workflow","mlops-template","2026-03-27T02:49:30.150509","2026-04-12T13:59:56.183354",[139,144,149,154,159,164],{"id":140,"question_zh":141,"answer_zh":142,"source_url":143},30632,"运行超参数笔记本时，遇到 Vertex AI Experiment 报错 'Context already exists' (409 错误) 怎么办？","这是因为尝试创建已存在的实验运行名称。解决方案是修改代码逻辑：在创建运行前检查该名称是否已存在。如果存在，则直接附加到现有运行而不是尝试新建。\n\n修改前的代码：\nexpRun = aiplatform.ExperimentRun.create(run_name = args.run_name, experiment = args.experiment_name)\n\n修改后的代码：\nif args.run_name in [run.name for run in aiplatform.ExperimentRun.list(experiment = args.experiment_name)]:\n    expRun = aiplatform.ExperimentRun(run_name = args.run_name, experiment = args.experiment_name)\nelse:\n    expRun = aiplatform.ExperimentRun.create(run_name = args.run_name, experiment = args.experiment_name)","https:\u002F\u002Fgithub.com\u002Fstatmike\u002Fvertex-ai-mlops\u002Fissues\u002F37",{"id":145,"question_zh":146,"answer_zh":147,"source_url":148},30633,"导入 google_cloud_pipeline_components 或 aiplatform 时失败，提示 ImportError 或模块找不到怎么办？","这通常是由于环境中的包版本过旧或冲突导致的。建议执行以下步骤：\n1. 在一个新的干净环境中，使用以下命令强制更新安装相关包：\n!pip install kfp google-cloud-pipeline-components google-cloud-aiplatform -q -U\n2. 确保 Python 版本兼容（推荐 Python 3.10+），避免使用已停止支持的旧版 TensorFlow Enterprise 环境（如 TF 2.3）。\n3. 验证安装版本，例如：aiplatform 应为 1.31.1+，kfp 应为 2.0.1+，google_cloud_pipeline_components 应为 2.3.0+。","https:\u002F\u002Fgithub.com\u002Fstatmike\u002Fvertex-ai-mlops\u002Fissues\u002F51",{"id":150,"question_zh":151,"answer_zh":152,"source_url":153},30634,"为什么在 Vertex AI Workbench 的 TensorFlow 2.3 环境中无法导入 'aiplatform' 模块？","TensorFlow Enterprise 2.3 环境（基于 Python 3.7）可能存在兼容性问题或预装包版本过旧。用户反馈表明，切换到较新的环境（如 TensorFlow 2.8 或更高版本，基于 Python 3.9+）可以解决此问题。此外，请确保先运行项目中的 '00-setup' 或 '00-Environment Setup' 笔记本，以安装或更新必要的依赖包。","https:\u002F\u002Fgithub.com\u002Fstatmike\u002Fvertex-ai-mlops\u002Fissues\u002F24",{"id":155,"question_zh":156,"answer_zh":157,"source_url":158},30635,"在使用 scikit-learn 自定义模型部署到 Endpoint 时遇到错误，如何解决？","该问题已通过代码更新修复。主要改动包括对模型序列化方式的调整：从使用 joblib 改为使用 pickle 来保存和加载模型。如果您遇到此类部署错误，请拉取最新的代码库更新，并确保使用更新后的笔记本脚本进行模型部署。","https:\u002F\u002Fgithub.com\u002Fstatmike\u002Fvertex-ai-mlops\u002Fissues\u002F23",{"id":160,"question_zh":161,"answer_zh":162,"source_url":163},30636,"运行 AutoML Forecasting 笔记本时，提示需要预先创建 'prepped' BigQuery 表，但不知道如何操作？","这是笔记本执行顺序的依赖问题。在执行包含 'Create Dataset (Link to BigQuery Table)' 的单元格之前，必须先运行前面的数据准备笔记本（通常是 Notebook 1）以生成所需的 'prepped' 表。此外，如果遇到 TIMESTAMP 未定义的错误，可以在使用前添加以下代码单元格进行修复：\nfrom datetime import datetime\nTIMESTAMP = datetime.now().strftime(\"%Y%m%d%H%M%S\")","https:\u002F\u002Fgithub.com\u002Fstatmike\u002Fvertex-ai-mlops\u002Fissues\u002F16",{"id":165,"question_zh":166,"answer_zh":167,"source_url":143},30637,"在多 GPU 环境下运行笔记本时，Vertex AI Experiments 中的多次运行记录没有正确更新怎么办？","在多 GPU 或多进程场景下，可能会因为竞争条件导致实验运行记录更新失败。除了应用上述 Issue #37 中提到的“检查并附加现有运行”的代码修复外，还需确保每个并行进程使用唯一的 run_name，或者在代码层面做好同步机制，防止多个进程同时尝试创建同名上下文。维护者确认该逻辑变更后能更好地处理此类情况。",[]]