[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-GoogleCloudPlatform--ml-on-gcp":3,"tool-GoogleCloudPlatform--ml-on-gcp":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",159267,2,"2026-04-17T11:29:14",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":74,"owner_avatar_url":75,"owner_bio":76,"owner_company":77,"owner_location":77,"owner_email":77,"owner_twitter":77,"owner_website":78,"owner_url":79,"languages":80,"stars":104,"forks":105,"last_commit_at":106,"license":107,"difficulty_score":108,"env_os":109,"env_gpu":110,"env_ram":111,"env_deps":112,"category_tags":126,"github_topics":127,"view_count":32,"oss_zip_url":77,"oss_zip_packed_at":77,"status":17,"created_at":129,"updated_at":130,"faqs":131,"releases":162},8639,"GoogleCloudPlatform\u002Fml-on-gcp","ml-on-gcp","Machine Learning on Google Cloud Platform","ml-on-gcp 是一套专为 Google Cloud Platform（GCP）打造的机器学习实战指南与代码库。它致力于帮助开发者将基于 TensorFlow、scikit-learn 等主流框架编写的本地代码，平滑迁移并高效运行在谷歌云端。\n\n在实际开发中，工程师往往需要花费大量时间处理云环境配置、接口适配及资源调度等繁琐事务。ml-on-gcp 通过提供经过验证的“食谱”式教程和最佳实践，显著降低了这些工程门槛，让用户能将更多精力聚焦于数据探索、模型构建及核心业务问题的解决。\n\n该工具特别适合希望在云端开展工作的机器学习工程师、数据科学家及研究人员。无论是需要在 Compute Engine 上进行弹性训练、利用 Kubernetes 集群进行超参数搜索，还是通过 Cloud Functions 实现模型的无服务器化推理，都能在这里找到对应的示例代码。\n\n其技术亮点在于覆盖了从数据处理到模型部署的全链路场景，不仅包含传统的 CPU 训练方案，还整合了 NVIDIA RAPIDS、TensorRT 等 GPU 加速技术以提升大规模推理性能。此外，项目提供了丰富的\"Example ","ml-on-gcp 是一套专为 Google Cloud Platform（GCP）打造的机器学习实战指南与代码库。它致力于帮助开发者将基于 TensorFlow、scikit-learn 等主流框架编写的本地代码，平滑迁移并高效运行在谷歌云端。\n\n在实际开发中，工程师往往需要花费大量时间处理云环境配置、接口适配及资源调度等繁琐事务。ml-on-gcp 通过提供经过验证的“食谱”式教程和最佳实践，显著降低了这些工程门槛，让用户能将更多精力聚焦于数据探索、模型构建及核心业务问题的解决。\n\n该工具特别适合希望在云端开展工作的机器学习工程师、数据科学家及研究人员。无论是需要在 Compute Engine 上进行弹性训练、利用 Kubernetes 集群进行超参数搜索，还是通过 Cloud Functions 实现模型的无服务器化推理，都能在这里找到对应的示例代码。\n\n其技术亮点在于覆盖了从数据处理到模型部署的全链路场景，不仅包含传统的 CPU 训练方案，还整合了 NVIDIA RAPIDS、TensorRT 等 GPU 加速技术以提升大规模推理性能。此外，项目提供了丰富的\"Example Zoo\"，收录了可直接在 AI Platform 上运行的 адаптированные 案例，帮助用户快速搭建生产级的机器学习流水线。","# Machine Learning on Google Cloud Platform\n\nGuides to bringing your code from various Machine Learning frameworks\nto Google Cloud Platform.\n\nThe goal is to present recipes and practices that will help you spend\nless time wrangling with the various interfaces and more time exploring your\ndatasets, building your models, and in general solving the problems you\nreally care about.\n\n- - -\n\n## Blog posts\n\n1. [Genomic ancestry inference with deep learning](https:\u002F\u002Fcloud.google.com\u002Fblog\u002Fbig-data\u002F2017\u002F09\u002Fgenomic-ancestry-inference-with-deep-learning) - Ancestry inference on Google Cloud Platform using the [1000 Genomes dataset](https:\u002F\u002Fcloud.google.com\u002Fgenomics\u002Fdata\u002F1000-genomes)\n\n2. [Running TensorFlow inference workloads at scale with TensorRT 5 and NVIDIA T4 GPUs](https:\u002F\u002Fcloud.google.com\u002Fblog\u002Fproducts\u002Fai-machine-learning\u002Frunning-tensorflow-inference-workloads-at-scale-with-tensorrt-5-and-nvidia-t4-gpus) - Creating a demo of ML inference using Tesla T4, TensorFlow, TensorRT, Load balancing and Auto-scale.\n\n3. [NVIDIA’s RAPIDS joins our set of Deep Learning VM images for faster data science](https:\u002F\u002Fcloud.google.com\u002Fblog\u002Fproducts\u002Fai-machine-learning\u002Fnvidias-rapids-joins-our-set-of-deep-learning-vm-images-for-faster-data-science) - Google Cloud’s set of Deep Learning Virtual Machine (VM) images, which enable the one-click setup machine learning-focused development environments. But some data scientists still use a combination of pandas, Dask, scikit-learn, and Spark on traditional CPU-based instances. If you’d like to speed up your end-to-end pipeline through scale, Google Cloud’s Deep Learning VMs now include an experimental image with RAPIDS, NVIDIA’s open source and Python-based GPU-accelerated data processing and machine learning libraries that are a key part of NVIDIA’s larger collection of CUDA-X AI accelerated software. CUDA-X AI is the collection of NVIDIA's GPU acceleration libraries to accelerate deep learning, machine learning, and data analysis.\n\n4. [Inferring Machine Learning Models from Google Cloud Functions](https:\u002F\u002Fcloud.google.com\u002Fblog\u002Fproducts\u002Fai-machine-learning\u002FTBD) - Introduction to Inferring AI Platform models from Google Cloud Function endpoints.\n\n4. [NVIDIA Achieves Breakthroughs in Language Understanding to Enable Real-Time Conversational AI](https:\u002F\u002Fnvidianews.nvidia.com\u002Fnews\u002Fnvidia-achieves-breakthroughs-in-language-understandingto-enable-real-time-conversational-ai?ncid=so-elev-49597#cid=organicSocial_en-us_Elevate_Deep-Learning-AI-for-Developers-DL13) - BERT Notebook in AI Hub and AI Platform Notebooks\n\n- - -\n\n## TensorFlow\n\n1. [Estimators](tutorials\u002Ftensorflow\u002Ftf-estimators.ipynb) - A guide to the Estimator\n   interface.\n\n\n- - -\n\n## scikit-learn\n\n1. [scikit-learn on GCE](tutorials\u002Fsklearn\u002Ftitanic) - Train a simple model with scikit-learn on a Google Compute Engine\n\n2. [Model serve](tutorials\u002Fsklearn\u002Fgae_serve) - Serve model with Google App Engine and Cloud Endpoints.\n\n3. [Hyperparameter search](tutorials\u002Fsklearn\u002Fhpsearch) - Hyperparameter search on a Google Kubernetes Engine cluster from a Jupyter notebook.\n\n- - -\n\n## Google Compute Engine\n\n1. [Compute Engine survival training](gce\u002Fsurvival-training\u002FREADME.md) - Introduces a framework for running resilient training jobs on Google Compute Engine.\n\n2. [Compute Engine burst training](gce\u002Fburst-training\u002FREADME.md) - A guide to\n   using powerful VMs to quickly and cheaply perform computationally intensive\n   training jobs. (The example training job in this guide uses\n   [xgboost](https:\u002F\u002Fgithub.com\u002Fdmlc\u002Fxgboost) as well as\n   [scikit-learn](http:\u002F\u002Fscikit-learn.org\u002Fstable\u002F).)\n\n- - -\n\n## Google Cloud Functions\n\n1. [Google Cloud Functions + AI Platform Example](gcf\u002Fgcf-ai-platform-example\u002FREADME.md) - Example endpoints to infer AI Platform models.\n\n- - -\n\n## Example Zoo\n\nCollections of examples adapted to be runnable on [AI Platform](https:\u002F\u002Fcloud.google.com\u002Fai-platform\u002F).\n\n1. [tensorflow-probability examples](\u002Fexample_zoo\u002Ftensorflow\u002Fprobability).\n\n1. [tensorflow-models examples](\u002Fexample_zoo\u002Ftensorflow\u002Fmodels).\n\n## Google Machine Learning Repositories\n\nIf you’re looking for our guides on how to do Machine Learning on Google Cloud Platform (GCP) using other services, please checkout our other repositories: \n\n- [AI Platform samples](https:\u002F\u002Fgithub.com\u002FGoogleCloudPlatform\u002Fai-platform-samples), which has guides on how to bring your code from various ML frameworks to Google Cloud AI Platform using different products such as AI Platform Training, Prediction, Notebooks and AI Hub.\n- [Keras Idiomatic Programmer](https:\u002F\u002Fgithub.com\u002FGoogleCloudPlatform\u002Fkeras-idiomatic-programmer) This repository contains content produced by Google Cloud AI Developer Relations for machine learning and artificial intelligence. The content covers a wide spectrum from educational, training, and research, covering from novices, junior\u002Fintermediate to advanced.\n- [Professional Services](https:\u002F\u002Fgithub.com\u002FGoogleCloudPlatform\u002Fprofessional-services), common solutions and tools developed by Google Cloud's Professional Services team.\n","# Google Cloud 平台上的机器学习\n\n指导您如何将代码从各种机器学习框架迁移到 Google Cloud 平台。\n\n我们的目标是提供实用的指南和最佳实践，帮助您减少在不同接口间调试的时间，从而将更多精力投入到数据集探索、模型构建以及解决真正关心的问题上。\n\n- - -\n\n## 博客文章\n\n1. [使用深度学习进行基因组谱系推断](https:\u002F\u002Fcloud.google.com\u002Fblog\u002Fbig-data\u002F2017\u002F09\u002Fgenomic-ancestry-inference-with-deep-learning) - 在 Google Cloud 平台上利用 [1000 基因组数据集](https:\u002F\u002Fcloud.google.com\u002Fgenomics\u002Fdata\u002F1000-genomes) 进行谱系推断\n\n2. [使用 TensorRT 5 和 NVIDIA T4 GPU 大规模运行 TensorFlow 推理工作负载](https:\u002F\u002Fcloud.google.com\u002Fblog\u002Fproducts\u002Fai-machine-learning\u002Frunning-tensorflow-inference-workloads-at-scale-with-tensorrt-5-and-nvidia-t4-gpus) - 利用 Tesla T4、TensorFlow、TensorRT、负载均衡和自动扩缩功能构建 ML 推理演示\n\n3. [NVIDIA 的 RAPIDS 加入我们的深度学习虚拟机镜像集合，加速数据科学工作流程](https:\u002F\u002Fcloud.google.com\u002Fblog\u002Fproducts\u002Fai-machine-learning\u002Fnvidias-rapids-joins-our-set-of-deep-learning-vm-images-for-faster-data-science) - Google Cloud 提供的一系列深度学习虚拟机（VM）镜像，支持一键式搭建面向机器学习的开发环境。然而，部分数据科学家仍在传统的基于 CPU 的实例上结合使用 pandas、Dask、scikit-learn 和 Spark。如果您希望通过扩展来加速端到端流程，Google Cloud 的深度学习 VM 现已包含一个实验性镜像，其中预装了 RAPIDS——NVIDIA 开源的基于 Python 的 GPU 加速数据处理与机器学习库，它是 NVIDIA 更大范围的 CUDA-X AI 加速软件套件中的重要组成部分。CUDA-X AI 是 NVIDIA 提供的一系列 GPU 加速库，用于加速深度学习、机器学习和数据分析任务。\n\n4. [从 Google Cloud Functions 推断机器学习模型](https:\u002F\u002Fcloud.google.com\u002Fblog\u002Fproducts\u002Fai-machine-learning\u002FTBD) - 介绍如何通过 Google Cloud Function 端点推断 AI Platform 模型\n\n4. [NVIDIA 在语言理解方面取得突破，助力实现实时对话式 AI](https:\u002F\u002Fnvidianews.nvidia.com\u002Fnews\u002Fnvidia-achieves-breakthroughs-in-language-understandingto-enable-real-time-conversational-ai?ncid=so-elev-49597#cid=organicSocial_en-us_Elevate_Deep-Learning-AI-for-Developers-DL13) - AI Hub 和 AI Platform Notebooks 中的 BERT 笔记本\n\n- - -\n\n## TensorFlow\n\n1. [Estimators](tutorials\u002Ftensorflow\u002Ftf-estimators.ipynb) - Estimator 接口指南\n\n\n- - -\n\n## scikit-learn\n\n1. [在 GCE 上使用 scikit-learn](tutorials\u002Fsklearn\u002Ftitanic) - 在 Google Compute Engine 上使用 scikit-learn 训练一个简单模型\n\n2. [模型服务](tutorials\u002Fsklearn\u002Fgae_serve) - 使用 Google App Engine 和 Cloud Endpoints 提供模型服务\n\n3. [超参数搜索](tutorials\u002Fsklearn\u002Fhpsearch) - 从 Jupyter 笔记本中对 Google Kubernetes Engine 集群上的超参数进行搜索\n\n- - -\n\n## Google Compute Engine\n\n1. [Compute Engine 生存训练](gce\u002Fsurvival-training\u002FREADME.md) - 介绍在 Google Compute Engine 上运行高可用训练作业的框架\n\n2. [Compute Engine 突发训练](gce\u002Fburst-training\u002FREADME.md) - 指南说明如何利用高性能虚拟机快速且低成本地执行计算密集型训练任务。（本指南中的示例训练作业同时使用了 [xgboost](https:\u002F\u002Fgithub.com\u002Fdmlc\u002Fxgboost) 和 [scikit-learn](http:\u002F\u002Fscikit-learn.org\u002Fstable\u002F)。）\n\n- - -\n\n## Google Cloud Functions\n\n1. [Google Cloud Functions + AI Platform 示例](gcf\u002Fgcf-ai-platform-example\u002FREADME.md) - 用于推断 AI Platform 模型的示例端点\n\n- - -\n\n## 示例动物园\n\n一系列适配后可在 [AI Platform](https:\u002F\u002Fcloud.google.com\u002Fai-platform\u002F) 上运行的示例集合。\n\n1. [tensorflow-probability 示例](\u002Fexample_zoo\u002Ftensorflow\u002Fprobability)\n\n1. [tensorflow-models 示例](\u002Fexample_zoo\u002Ftensorflow\u002Fmodels)\n\n## Google 机器学习仓库\n\n如果您正在寻找有关如何使用其他服务在 Google Cloud Platform (GCP) 上进行机器学习的指南，请查看我们的其他仓库：\n\n- [AI Platform 示例](https:\u002F\u002Fgithub.com\u002FGoogleCloudPlatform\u002Fai-platform-samples)，其中包含使用 AI Platform Training、Prediction、Notebooks 和 AI Hub 等产品，将您的代码从各种 ML 框架迁移到 Google Cloud AI Platform 的指南。\n- [Keras 正统编程者](https:\u002F\u002Fgithub.com\u002FGoogleCloudPlatform\u002Fkeras-idiomatic-programmer)，该仓库由 Google Cloud AI 开发者关系团队制作，内容涵盖机器学习和人工智能领域的教育、培训和研究，适合从初学者到中级及高级用户。\n- [专业服务](https:\u002F\u002Fgithub.com\u002FGoogleCloudPlatform\u002Fprofessional-services)，包含由 Google Cloud 专业服务团队开发的常用解决方案和工具。","# ml-on-gcp 快速上手指南\n\n`ml-on-gcp` 是一个汇集了将各类机器学习框架代码迁移至 Google Cloud Platform (GCP) 的实战指南仓库。它旨在提供具体的“食谱”和最佳实践，帮助开发者减少在接口适配上的时间，专注于数据探索、模型构建及问题解决。\n\n## 环境准备\n\n在开始之前，请确保你具备以下基础环境和权限：\n\n*   **Google Cloud 账号**：拥有一个激活的 GCP 项目，并启用了计费功能。\n*   **gcloud CLI**：本地已安装并配置好 Google Cloud SDK。\n    *   安装后运行 `gcloud auth login` 进行登录。\n    *   运行 `gcloud config set project [YOUR_PROJECT_ID]` 设置默认项目。\n*   **前置依赖**：\n    *   Python 3.7+ (根据具体教程需求)\n    *   Jupyter Notebook (用于运行提供的 `.ipynb` 示例)\n    *   对应框架依赖：TensorFlow, scikit-learn, xgboost 等（建议在虚拟环境中安装）。\n*   **API 启用**：根据你要使用的服务（如 Compute Engine, AI Platform, Cloud Functions），需在 GCP 控制台或通过命令行启用相应 API。\n\n> **注意**：由于网络原因，国内开发者访问 GCP 服务可能需要配置代理或使用全球加速通道。本仓库本身托管于 GitHub，克隆时若速度慢可考虑使用国内镜像源。\n\n## 安装步骤\n\n本仓库主要包含代码示例和文档，无需复杂的安装过程，只需克隆仓库并安装对应示例的依赖即可。\n\n1.  **克隆仓库**\n    ```bash\n    git clone https:\u002F\u002Fgithub.com\u002FGoogleCloudPlatform\u002Fml-on-gcp.git\n    cd ml-on-gcp\n    ```\n\n2.  **安装通用依赖（可选）**\n    如果你打算运行多个示例，可以安装基础的 ML 库：\n    ```bash\n    pip install tensorflow scikit-learn pandas google-cloud-storage\n    ```\n\n3.  **配置特定示例环境**\n    进入具体教程目录（例如 `tutorials\u002Fsklearn\u002Ftitanic`），通常会有独立的 `requirements.txt`，请按需安装：\n    ```bash\n    cd tutorials\u002Fsklearn\u002Ftitanic\n    pip install -r requirements.txt\n    ```\n\n## 基本使用\n\n以下以 **scikit-learn on GCE** 为例，展示如何在 Google Compute Engine (GCE) 上训练一个简单的模型。这是最基础的“云端训练”场景。\n\n### 场景：在 GCE 实例上训练 Titanic 生存预测模型\n\n1.  **准备数据与代码**\n    确保你已在本地 `tutorials\u002Fsklearn\u002Ftitanic` 目录下准备好了训练脚本（如 `train.py`）和数据集。\n\n2.  **创建计算实例**\n    使用 `gcloud` 命令创建一个带有预装深度学习环境的 VM 实例（也可选择标准 CPU 实例）：\n    ```bash\n    gcloud compute instances create ml-training-vm \\\n      --zone=us-central1-a \\\n      --machine-type=n1-standard-4 \\\n      --image-family=common-cu101 \\\n      --image-project=deeplearning-platform-release \\\n      --boot-disk-size=50GB\n    ```\n\n3.  **上传代码到实例**\n    将本地的训练代码和数据上传至刚创建的实例：\n    ```bash\n    gcloud compute scp train.py titanic.csv ml-training-vm:~\u002F --zone=us-central1-a\n    ```\n\n4.  **远程执行训练**\n    通过 SSH 连接实例并运行训练脚本：\n    ```bash\n    gcloud compute ssh ml-training-vm --zone=us-central1-a --command=\"python3 train.py\"\n    ```\n    *注：`train.py` 内部逻辑应包含加载数据、使用 scikit-learn 建模、训练及保存模型文件的步骤。*\n\n5.  **获取模型**\n    训练完成后，将生成的模型文件下载回本地或上传至 Google Cloud Storage (GCS)：\n    ```bash\n    gcloud compute scp ml-training-vm:~\u002Fmodel.pkl .\u002Flocal_model.pkl --zone=us-central1-a\n    ```\n\n### 其他快速入口\n\n*   **TensorFlow Estimators**: 查看 `tutorials\u002Ftensorflow\u002Ftf-estimators.ipynb` 了解如何在 GCP 上使用 TF Estimator 接口。\n*   **超参数搜索**: 参考 `tutorials\u002Fsklearn\u002Fhpsearch`，学习如何在 Google Kubernetes Engine (GKE) 集群上从 Jupyter Notebook 发起超参数搜索任务。\n*   **无服务器推理**: 查看 `gcf\u002Fgcf-ai-platform-example`，了解如何通过 Google Cloud Functions 调用 AI Platform 模型进行推理。\n\n更多高级示例（如 TensorFlow Probability, BERT 等）请访问仓库中的 `example_zoo` 目录。","某生物科技公司数据团队正利用 1000 Genomes 数据集，通过深度学习模型进行大规模基因组祖先推断分析。\n\n### 没有 ml-on-gcp 时\n- 工程师需手动配置复杂的 GPU 驱动与 CUDA 环境，耗费数天时间搭建基础运行平台，严重拖慢实验进度。\n- 面对海量基因数据，本地服务器算力不足导致训练任务频繁中断，且缺乏弹性扩容机制来应对突发计算需求。\n- 模型训练完成后，将其封装为可调用的 API 服务流程繁琐，需自行编写大量胶水代码连接存储、计算与服务层。\n- 不同框架（如 TensorFlow、scikit-learn）在云端的最佳实践分散，团队需反复试错以解决接口兼容性问题。\n\n### 使用 ml-on-gcp 后\n- 直接复用官方提供的 Deep Learning VM 镜像和现成食谱（如基因组推断指南），一键部署预配置好的开发环境，将准备时间从数天缩短至小时级。\n- 依据\"Compute Engine 突发训练”指南，轻松调用高性能 VM 集群进行弹性扩缩容，快速完成高负荷计算任务并自动释放资源以节省成本。\n- 参考\"Cloud Functions + AI Platform\"示例，迅速将训练好的模型封装为无服务器推理端点，实现从模型到生产服务的无缝衔接。\n- 遵循针对 TensorFlow Estimators 或 scikit-learn 的标准化云端教程，规避底层接口陷阱，让团队专注于算法优化而非环境调试。\n\nml-on-gcp 通过提供经过验证的云端机器学习“食谱”，帮助团队摆脱基础设施运维的泥潭，将精力完全回归到数据探索与核心问题解决上。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FGoogleCloudPlatform_ml-on-gcp_813efe9a.png","GoogleCloudPlatform","Google Cloud Platform","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FGoogleCloudPlatform_85ccccae.png","",null,"https:\u002F\u002Fcloud.google.com","https:\u002F\u002Fgithub.com\u002FGoogleCloudPlatform",[81,85,89,93,97,101],{"name":82,"color":83,"percentage":84},"Python","#3572A5",61.3,{"name":86,"color":87,"percentage":88},"Jupyter Notebook","#DA5B0B",32.8,{"name":90,"color":91,"percentage":92},"Shell","#89e051",4.9,{"name":94,"color":95,"percentage":96},"R","#198CE7",0.7,{"name":98,"color":99,"percentage":100},"Dockerfile","#384d54",0.2,{"name":102,"color":103,"percentage":100},"HTML","#e34c26",514,181,"2026-03-30T05:36:53","Apache-2.0",4,"Linux","非必需（取决于具体任务）。部分示例（如 TensorRT\u002FT4）需要 NVIDIA GPU（Tesla T4），支持 CUDA-X AI\u002FRAPIDS 加速；其他示例可在传统 CPU 实例上运行。","未说明（取决于具体任务和所选虚拟机类型，支持从 CPU 实例到高性能 GPU 实例的弹性配置）",{"notes":113,"python":114,"dependencies":115},"本项目主要提供在 Google Cloud Platform (GCP) 上运行机器学习任务的指南和示例代码，而非单一的可安装软件包。运行环境通常基于 GCP 的深度学习虚拟机镜像（Deep Learning VM images），支持一键配置。用户需拥有 GCP 账户并根据示例选择相应的服务（如 Compute Engine, Kubernetes Engine, AI Platform, Cloud Functions）。部分高级加速功能（如 RAPIDS）需要特定的实验性镜像和 NVIDIA GPU 支持。","未说明（基于 Google Cloud Deep Learning VM 镜像，通常预装 Python 3.x）",[116,117,118,119,120,121,122,123,124,125],"TensorFlow","scikit-learn","TensorRT","RAPIDS","xgboost","pandas","Dask","Spark","tensorflow-probability","Keras",[14],[128],"samples","2026-03-27T02:49:30.150509","2026-04-18T03:34:27.859937",[132,137,142,147,152,157],{"id":133,"question_zh":134,"answer_zh":135,"source_url":136},38692,"如何在 GCP 上使用包含 Pandas 预处理步骤的 Scikit-Learn 管道进行在线预测？","可以将完整的 Scikit-Learn 管道对象（包括模型和预处理函数）导出为 .pkl 文件。在 setup.py 中指定 Pandas 作为依赖项。然后，利用自定义预测例程（Custom Prediction Routine），在 predictor.py 的 from_path() 函数中加载该 .pkl 文件。这样，预处理逻辑就包含在模型文件中，无需单独的预处理函数，GCP ML Engine 即可处理 JSON 负载并将其转换为模型所需的格式。参考文档：https:\u002F\u002Fcloud.google.com\u002Fml-engine\u002Fdocs\u002Fscikit\u002Fcustom-prediction-routine-scikit-learn","https:\u002F\u002Fgithub.com\u002FGoogleCloudPlatform\u002Fml-on-gcp\u002Fissues\u002F34",{"id":138,"question_zh":139,"answer_zh":140,"source_url":141},38693,"为什么在 App Engine (gae_serve) 部署示例中会出现 502 Bad Gateway 错误？","这是因为 _load_model() 函数中包含 time.sleep(45)，导致模型加载时间超过了 Gunicorn worker 的默认超时时间。虽然可以通过在 app.yaml 的 gunicorn 命令中添加 --timeout 60 来增加超时时间，但根本原因是示例代码中的睡眠延迟。在生产环境中应移除或优化此 sleep 调用，确保模型加载在超时限制内完成。","https:\u002F\u002Fgithub.com\u002FGoogleCloudPlatform\u002Fml-on-gcp\u002Fissues\u002F15",{"id":143,"question_zh":144,"answer_zh":145,"source_url":146},38694,"是否有从 Google App Engine (GAE) 查询 ML Engine 模型的实践示例？","官方文档提供了从本地机器查询 TF 模型的代码示例。理论上，同样的代码可以在 GAE 内部运行以查询部署在 ML Engine 上的模型。如果直接配置 Cloud Endpoint 与 ML Engine 模型服务连接遇到困难，可能需要检查网络配置或认证设置。建议先验证本地查询代码是否正常工作，再将其部署到 GAE 环境中。","https:\u002F\u002Fgithub.com\u002FGoogleCloudPlatform\u002Fml-on-gcp\u002Fissues\u002F16",{"id":148,"question_zh":149,"answer_zh":150,"source_url":151},38695,"如何在 GKEParallel 中更好地处理 sklearn.ParameterGrid 的参数组合分布？","目前的实现不支持列表形式的参数字典子集。建议的改进方案包括：1. 完全展开 param_grid 生成所有组合列表，然后随机分配给各个 worker，这有助于负载均衡但可能增加数据传输量；2. 或者传递索引和偏移量给每个 worker，让 worker 本地使用 ParameterGrid 展开并跳转到指定位置执行，这种方式更节省存储但实现较复杂。此外，也可以考虑直接使用 RandomizedSearchCV 来替代。","https:\u002F\u002Fgithub.com\u002FGoogleCloudPlatform\u002Fml-on-gcp\u002Fissues\u002F21",{"id":153,"question_zh":154,"answer_zh":155,"source_url":156},38696,"部署应用时遇到 'Unable to determine the root directory where GAE runtimes are stored' 错误怎么办？","该错误提示需要定义 CLOUDSDK_APP_RUNTIME_ROOT 环境变量。这通常意味着 Cloud SDK 安装不完整或环境配置有误。请检查 Cloud SDK 是否正确安装，尝试重新安装或更新 gcloud 组件（特别是 app-engine-python 相关组件）。如果问题依旧，需手动设置该环境变量指向 GAE 运行时的根目录路径。","https:\u002F\u002Fgithub.com\u002FGoogleCloudPlatform\u002Fml-on-gcp\u002Fissues\u002F28",{"id":158,"question_zh":159,"answer_zh":160,"source_url":161},38697,"如何修复文档中提到的已弃用的 gcloud 命令和文件？","部分 gcloud 命令和相关文件可能已过时。用户需要查阅最新的 Google Cloud 文档，将旧的命令替换为当前推荐的等效命令。例如，某些旧版的 ml-engine 命令可能已迁移到新的 ai-platform 命名空间下。建议在运行脚本前，先使用 gcloud help 或查看官方迁移指南确认命令的最新用法。","https:\u002F\u002Fgithub.com\u002FGoogleCloudPlatform\u002Fml-on-gcp\u002Fissues\u002F27",[]]