超越笔记本——无服务器机器学习

使用Python构建批处理与实时预测服务

概述

你无需成为Kubernetes或云计算方面的专家，就能借助机器学习模型构建一个用于做出智能决策的端到端服务。无服务器机器学习（ML）让构建利用机器学习模型进行预测的系统变得简单易行。

在无服务器ML中，你不需要安装、升级或运维任何系统。你只需能够编写可被调度为流水线运行的Python程序即可。你的流水线所生成的特征和模型将由无服务器特征存储库/模型注册表来管理。我们还将向你展示如何通过编写Python代码和一些HTML来为你的预测服务构建用户界面。

阅读 这篇文章以了解无服务器机器学习的概览。

先决条件： Python - Pandas - Github

模块

• 模块00 - 介绍及选修内容。

  • 为什么选择无服务器ML：视频 | 幻灯片

  • 课程简介：视频 | 幻灯片

  • 开发环境与平台 视频 | 幻灯片

  • 机器学习入门（ML 101） 视频 | 幻灯片

• 模块01 - Python中的Pandas与ML流水线。编写你的第一个无服务器应用。

  • 完整讲座：视频 | 幻灯片

  • 实验 | 幻灯片 | 作业表单

• 模块02 - 数据建模与特征存储库。信用卡欺诈预测服务。

  • 完整讲座：视频 | 幻灯片

  • 实验 | 幻灯片 | 作业表单

• 模块03 - 训练流水线、推理流水线与模型注册表。

  • 完整讲座：视频 | 幻灯片

  • 实验 | 幻灯片

• 模块04 - 机器学习系统的无服务器用户界面。

  • 完整讲座：视频 | 幻灯片

  • 实验 | 幻灯片

• 模块05 - MLOps的原则与实践

  • 第一部分：视频 | 幻灯片
  • 第二部分：视频 | 幻灯片
  • 实验：视频 | 幻灯片

• 模块06 - 运营级机器学习系统：实时机器学习。

  • 完整讲座：视频 | 幻灯片
  • 实验：视频 | 幻灯片

---

学习成果：

• 学习如何在无服务器基础设施上开发并运营具备AI功能的（预测）服务
• 开发并运行无服务器特征流水线
• 将特征和模型部署到无服务器基础设施
• 训练模型并运行批处理/推理流水线
• 为你的预测服务开发无服务器用户界面
• 学习MLOps基础：版本控制、测试、数据验证和运维
• 开发并运行实时无服务器机器学习系统

课程内容：

• Python中的Pandas与ML流水线。编写你的第一个无服务器应用。
• 用于机器学习的特征存储库。为信用卡欺诈无服务器应用进行特征工程。
• 训练流水线与推理流水线
• 通过用户界面（Gradio、Github Pages、Streamlit）使预测服务栩栩如生
• 特征和模型的自动化测试与版本控制
• 实时无服务器机器学习系统。项目展示。

目标受众是谁？

你已经学过机器学习（ML）课程，并且会用Python编程。你希望在笔记本中对静态数据集进行模型训练之外更进一步。你想围绕自己的模型构建一个预测服务。也许你在企业工作，想用利益相关者熟悉的方式向他们展示模型的价值。又或者你希望将机器学习集成到现有的应用程序或系统中。

这门课程有何不同？

你无需具备除使用 GitHub 和编写 Python 代码之外的任何运维经验。你将学习 MLOps 的核心内容：版本化工件、测试工件、验证工件，以及监控和升级运行中的系统。你将处理原始数据和实时数据——你需要在流水线中进行特征工程。你还将学习如何选择、提取、计算和转换特征。

这门课程需要付费吗？

不需要。你将成为一名无服务器机器学习工程师，而无需为运行你的无服务器流水线或管理你的特征/模型/用户界面支付任何费用。我们将使用 GitHub Actions 和 Hopsworks，它们都提供慷慨的、时间不限的免费层级。

立即注册 无服务器机器学习课程

时间安排

自定进度

要求

• 包含笔记本（Jupyter 或 Colaboratory）的 Python 环境
• GitHub 账户
• Hopsworks.ai 账户

关键技术

开发环境

你可以在任何 Python IDE 中编写、测试、调试和训练模型。我们将重点放在笔记本和 Python 程序上。你可以使用 Jupyter Notebook 或 Colaboratory。

GitHub

GitHub 用于管理你的代码，GitHub Actions 用于运行你的工作流，而 GitHub Pages 则适用于非交互式应用的用户界面。GitHub Actions 提供一个免费层级，包含 500 MB 存储空间和 2,000 分钟的流水线运行时间。 https://docs.github.com/en/billing/managing-billing-for-github-actions/about-billing-for-github-actions

Hopsworks

Hopsworks.ai 提供 10 GB 存储空间的免费层级。

---

实用资源

名称	描述	链接
Awesome MLOps	MLOps 相关链接和资源的集合	https://github.com/visenger/awesome-mlops
Machine Learning Ops	关于如何利用 GitHub 推动机器学习运维的资源集合。	https://mlops.githubapp.com/
MLOps Toys	精选的 MLOps 项目列表。	https://mlops.toys/
MLOps Zoomcamp	讲授将机器学习服务投入生产环境的实用技巧。	https://github.com/DataTalksClub/mlops-zoomcamp
PYSLACKERS	一个面向 Python 编程爱好者的大型开放社区。	https://pyslackers.com/web
Feature Store Org	一个关于特征存储的开放社区。	https://www.featurestore.org

其他 MLOps 课程

名称	描述	链接
MlOps Zoomcamp	一门以 DevOps 为导向的课程，前提条件是掌握 Python 和 Docker。	https://github.com/DataTalksClub/mlops-zoomcamp
Full Stack Deep Learning	本课程分享全栈最佳实践；主题涵盖从问题选择到数据集管理再到监控等各个方面。	https://fullstackdeeplearning.com/
MLOps 课程	由 Goku Mohandas 主讲的一系列课程，教授如何应用机器学习构建生产级产品。	https://github.com/GokuMohandas/mlops-course

---

定义

• LLM 的上下文窗口
• 复合 AI 系统
• 特征存储
• 特征监控
• 特征数据
• Flash Attention
• LLM 的函数调用
• 梯度累积
• 上下文学习 (ICL)
• KServe
• 机器学习日志
• 机器学习基础设施
• 机器学习可观测性
• 机器学习流水线
• 机器学习系统
• 模型部署
• 模型监控
• 模型注册表
• 模型推理服务
• 分页注意力
• 提示存储
• 检索增强生成 (RAG) LLM
• RoPE 缩放
• 样本打包
• 相似性搜索

支持与合作伙伴

Serverless ML Course 快速上手指南

本指南旨在帮助开发者无需掌握 Kubernetes 或复杂的云运维知识，仅通过编写 Python 代码即可构建端到端的批量与实时机器学习预测服务。

环境准备

在开始之前，请确保你具备以下基础环境和账号：

1. 前置技能

• Python: 熟悉 Python 编程。
• Pandas: 了解基本的数据处理操作。
• Git: 熟悉基本的 GitHub 操作。

2. 系统要求

• 开发环境: 本地安装的 Python 环境，或使用在线 Notebook 环境（推荐 Jupyter Notebook 或 Google Colaboratory）。
• 网络连接: 能够访问 GitHub 和 Hopsworks 平台。

3. 必需账号

本课程完全免费，利用各平台的免费层级即可运行，无需信用卡。请提前注册以下账号：

• GitHub: https://github.com
  • 用于代码管理、使用 GitHub Actions 运行流水线以及部署 UI (GitHub Pages)。
• Hopsworks: https://app.hopsworks.ai
  • 作为无服务器特征存储（Feature Store）和模型注册表（Model Registry）。注册后可获得 10GB 免费存储空间。

---

安装步骤

本课程基于云端无服务器架构，无需在本地安装复杂的服务器软件或 Docker。主要配置步骤如下：

1. 克隆课程仓库

打开终端，克隆项目代码到本地：

git clone https://github.com/logicalclocks/serverless-ml-course.git
cd serverless-ml-course

2. 配置 Python 依赖

进入对应的模块目录（例如 Module 01），安装所需的 Python 库：

pip install -r requirements.txt

注：如果在 Google Colab 中运行，请使用 !pip install -r requirements.txt。

3. 配置 Hopsworks API Key

1. 登录 Hopsworks AI。
2. 在用户设置中找到 API Keys 并生成一个新的 Key。
3. 在你的 Python 脚本或 Notebook 中配置该 Key（通常在代码初始化部分）：

import hopsworks

# 将 'YOUR_API_KEY' 替换为你生成的实际 Key
project = hopsworks.login(api_key_value="YOUR_API_KEY")

4. 配置 GitHub Actions (可选，用于自动化流水线)

若需自动运行训练或推理流水线：

1. 在 GitHub 仓库的 Settings > Secrets and variables > Actions 中添加新的 Secret。
2. Name: HOPSWORKS_API_KEY
3. Value: 填入你的 Hopsworks API Key。

---

基本使用

以下是一个最简单的示例，展示如何连接到特征存储并读取数据（对应课程 Module 01 & 02 的核心逻辑）。

示例：连接特征存储并获取数据

创建一个名为 first_app.py 的文件或在 Notebook 中运行以下代码：

import hopsworks
import pandas as pd

# 1. 登录 Hopsworks 项目
# 确保已设置环境变量 HOPSWORKS_API_KEY 或在 login() 中传入 api_key_value
project = hopsworks.login()

# 2. 获取特征存储实例
fs = project.get_feature_store()

# 3. 获取已有的特征组 (Feature Group) 
# 这里以课程中的信用卡欺诈数据集为例
feature_group = fs.get_feature_group(name="credit_card_transactions", version=1)

# 4. 读取数据为 Pandas DataFrame
df = feature_group.read()

# 5. 查看数据前几行
print(df.head())

# 6. (可选) 简单的数据预处理示例
df['amount_normalized'] = df['amount'] / df['amount'].max()

print("数据预处理完成，准备进入下一步流水线...")

运行你的第一个流水线

完成代码编写后，你可以：

1. 本地运行: 直接在终端执行 python first_app.py。
2. 云端调度: 将代码推送到 GitHub，配置 .github/workflows 文件，利用 GitHub Actions 自动触发该 Python 脚本作为无服务器流水线运行。

下一步

按照课程模块顺序深入学习：

• Module 01: 构建第一个 Serverless App。
• Module 02: 学习特征工程与特征存储。
• Module 03: 创建训练与推理流水线。
• Module 04: 使用 Gradio 或 Streamlit 构建预测服务 UI。