构建机器学习流水线

Hannes Hapke 和 Catherine Nelson 所著 O'Reilly 出版物 "Building Machine Learning Pipelines" 的代码仓库

更新说明

• 示例代码已更新以支持 TFX 1.4.0、TensorFlow 2.6.1 和 Apache Beam 2.33.0。新增了 GCP Vertex 示例（训练与服务部署）。

配置演示项目

下载初始数据集。在本仓库根目录执行：

python3 utils/download_dataset.py

运行该脚本后，您将获得包含 consumer_complaints_with_narrative.csv 文件的 data 文件夹。

数据集说明

本示例项目使用的数据集可通过上述脚本下载。该数据集来自美国消费者金融保护局（CFPB）收集的客户投诉公开数据集。如需复现我们编辑后的数据集，请执行以下步骤：

• 从 https://www.consumerfinance.gov/data-research/consumer-complaints/#download-the-data 下载原始数据
• 将列名重命名为 [ "product", "sub_product", "issue", "sub_issue", "consumer_complaint_narrative", "company", "state", "zip_code", "company", "company_response", "timely_response", "consumer_disputed"]
• 过滤掉 consumer_complaint_narrative 列存在缺失值的行
• 在 consumer_disputed 列中，将 Yes 映射为 1，No 映射为 0

预处理实验

在构建 TFX 管道之前，我们进行了特征工程和模型架构的探索性实验。本文件夹中的 Notebook 保留了我们的实验记录，后续我们将这些代码重构为下方的交互式管道。

交互式管道

interactive-pipeline 文件夹包含针对消费者投诉数据的完整交互式 TFX 管道。

完整流水线（Apache Beam、Apache Airflow、Kubeflow Pipelines、GCP）

pipelines 文件夹包含针对不同编排器的完整流水线实现。详见第11和12章内容。

章节代码

以下子文件夹包含各章节独立代码：

模型分析

第7章。包含 TFMA、Fairness Indicators 和 What-If Tool 的独立代码。注意这些 Notebook 无法在 JupyterLab 中运行。

高级TFX

第10章。演示从零实现自定义TFX组件及通过继承现有功能实现的方法。该内容曾在 Apache Beam Summit 2020 发表。

数据隐私

第14章。演示训练差分隐私版本的示例项目。注意截至2020年6月，TF-Privacy 模块仅支持 TF 1.x 版本。

版本说明

代码编写和测试基于版本 0.22：

• 2021年11月23日：示例已更新以支持 TFX 1.4.0、TensorFlow 2.6.1 和 Apache Beam 2.33.0。新增 GCP Vertex 示例（训练与服务部署）。
• 2020年9月22日：交互式管道基于 TFX 0.24.0rc1 运行。由于少量TFX缺陷，当前版本在 0.23 和 0.24-rc0 版本存在兼容性问题。我们已针对本书管道向TFX团队提交了GitHub问题报告（Issue 2500）。问题解决后将更新仓库。
• 2020年9月14日：TFX 在 >0.24.0rc0 版本仅支持 Python 3.8。

Building Machine Learning Pipelines 快速上手指南

环境准备

• 系统要求：Linux/macOS（推荐Ubuntu 18.04+）
• Python版本：3.8.x（TFX >0.24.0rc0仅支持Python 3.8）
• 前置依赖：

  # 安装Python依赖（推荐使用国内镜像加速）
  pip install --upgrade pip
  pip install virtualenv
  

安装步骤

# 1. 克隆仓库
git clone https://github.com/oreilly-media/building-machine-learning-pipelines.git
cd building-machine-learning-pipelines

# 2. 创建虚拟环境
virtualenv -p python3.8 venv
source venv/bin/activate

# 3. 安装依赖（使用阿里云镜像加速）
pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/

基本使用

1. 下载数据集

# 执行数据下载脚本
python3 utils/download_dataset.py

# 验证数据文件（应生成data/consumer_complaints_with_narrative.csv）
ls -la data/

2. 运行交互式TFX管道

# 进入交互式管道目录
cd interactive-pipeline

# 启动Jupyter Notebook（注意：部分笔记本不兼容JupyterLab）
jupyter notebook

在Notebook中依次运行：

# 1. 加载数据预处理模块
import data_prep

# 2. 执行特征工程
data_prep.run_feature_engineering()

# 3. 训练模型
import model_train
model_train.run_training()

3. 运行完整管道示例（可选）

# 返回项目根目录
cd ..

# 查看支持的管道类型
ls pipelines/

# 以Apache Beam管道为例
cd pipelines/beam
python3 pipeline.py

版本说明

• 当前示例基于TFX 1.4.0 + TensorFlow 2.6.1 + Apache Beam 2.33.0
• GCP用户可使用新增的Vertex AI训练/部署示例
• 国内用户建议优先使用阿里云镜像安装依赖：

  pip install <package_name> -i https://mirrors.aliyun.com/pypi/simple/