TensorFlow Estimator API 教程

环境设置

如果您需要帮助设置环境，请按照 INSTALL 文件中的说明进行操作。

本系列教程使用 TF Estimator API 涵盖以下内容：

• 各种机器学习任务，目前包括：

  • 分类
  • 回归
  • 聚类（k-means）
  • 时间序列分析（AR 模型）
  • 降维（自编码）
  • 序列模型（RNN 和 LSTM）
  • 图像分析（用于图像分类的 CNN）
  • 文本分析（使用嵌入、CNN 和 RNN 进行文本分类）

• 如何使用 预制 Estimator 训练机器学习模型。

• 如何使用 tf.Transform 进行预处理和特征工程（TF v1.7）。

• 实现 TensorFlow 模型分析 (TFMA) 来评估模型质量（TF v1.7）。

• 如何使用 tf.Hub 的文本特征列嵌入（TF v1.7）。

• 如何实现 自定义 Estimator（model_fn 和 EstimatorSpec）。

• 一种基于元数据的标准方法来构建模型的 feature_column(s)，包括：

  • 数值 特征
  • 带有 词汇表 的 分类 特征
  • 使用 哈希桶 的 分类 特征
  • 使用 标识符 的 分类 特征

• 数据 输入管道（input_fn），使用：

  • tf.estimator.inputs.pandas_input_fn
  • tf.train.string_input_producer
  • tf.data.Dataset API 来读取 .csv 和 .tfrecords（tf.example）数据文件
  • tf.contrib.timeseries.RandomWindowInputFn 和 WholeDatasetInputFn 用于时间序列数据
  • 在读取数据的过程中（input_fn）进行特征 预处理 和 创建，例如：正弦、平方根、多项式展开、傅里叶变换、对数、布尔比较、欧几里得距离、自定义公式等。

• 一种标准方法来准备 宽（稀疏）和 深（稠密）的 feature_column(s)，用于宽深结合的 DNN 线性组合模型。

• 在 numeric_column() 中使用 normalizer_fn，通过预先计算的统计信息对数值特征进行 缩放（用于最小-最大缩放或标准化缩放）。

• 在预制 Estimator 中以及自定义 Estimator 的 损失函数 中使用 weight_column。

• 在定义 feature_column(s) 的过程中进行隐式的 特征工程，包括：

  • 特征交叉
  • 特征嵌入
  • 指示器（对分类特征进行编码）
  • 分桶化

• 如何使用 tf.contrib.learn.experiment API 来训练、评估和导出模型。

• 如何使用 tf.estimator.train_and_evaluate 函数（配合 trainSpec 和 evalSpec）来训练、评估和导出模型。

• 如何使用 tf.train.exponential_decay 函数作为学习率调度器。

• 如何使用 csv 和 json 输入来 服务 已导出的模型（export_savedmodel）。

即将推出：

• 早停机制的实现
• DynamicRnnEstimator 及变长序列的使用
• 用于推荐系统的协同过滤
• 文本分析（主题模型等）
• Keras 示例

tf-estimator-tutorials 快速上手指南

本指南基于 tf-estimator-tutorials 项目，帮助开发者快速掌握 TensorFlow Estimator API 的核心用法，涵盖从数据输入、特征工程到模型训练、评估及导出的全流程。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows (推荐 Linux 环境以获得最佳兼容性)
• Python 版本：Python 3.5 - 3.7 (注：本项目主要基于 TensorFlow 1.x 版本特性，如 tf.contrib 和 tf.Transform)
• 核心依赖：
  • TensorFlow (建议版本 1.7 - 1.15，以支持文中提到的 tf.Transform, TFMA, tf.Hub 等特定功能)
  • Pandas (用于数据处理)
  • NumPy
  • Matplotlib (可选，用于可视化)

注意：由于该教程大量使用了 TensorFlow 1.x 的 contrib 模块及部分已废弃 API，建议在虚拟环境中安装 TensorFlow 1.15 版本以确保代码正常运行。

安装步骤

1. 克隆项目仓库 首先将项目代码下载到本地：

   git clone https://github.com/GoogleCloudPlatform/tf-estimator-tutorials.git
   cd tf-estimator-tutorials
   

2. 创建虚拟环境并安装依赖 推荐使用 venv 或 conda 隔离环境。以下以 pip 为例：

   python -m venv venv
   source venv/bin/activate  # Windows 用户使用: venv\Scripts\activate
   
   # 安装 TensorFlow 1.15 及其他依赖
   # 国内用户可使用清华源加速下载
   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow==1.15.0 pandas numpy matplotlib
   

3. 验证环境 进入项目目录，尝试运行一个简单的示例脚本（如分类任务）以确认环境配置无误：

   python classification/train_and_eval.py
   

   (注：具体脚本路径请参考项目子目录结构)

基本使用

本项目的核心是通过 input_fn 构建数据管道，定义 feature_columns 进行特征工程，并使用 Estimator 进行模型训练。以下是一个基于 Canned Estimator (预制估计器) 处理表格数据的极简示例流程。

1. 定义特征列 (Feature Columns)

使用元数据驱动的方式定义数值型和类别型特征：

import tensorflow as tf

# 定义数值特征
age = tf.feature_column.numeric_column("age")

# 定义类别特征 (使用词汇表)
gender = tf.feature_column.categorical_column_with_vocabulary_list(
    "gender", ["male", "female"])

# 定义类别特征 (使用 Hash Bucket，适用于高基数特征)
occupation = tf.feature_column.categorical_column_with_hash_bucket(
    "occupation", hash_bucket_size=1000)

# 特征交叉 (Feature Crossing)
crossed_feature = tf.feature_column.crossed_column([age, occupation], hash_bucket_size=10000)

# 将特征列列表传递给模型
base_features = [age, gender, occupation, crossed_feature]

2. 构建输入函数 (Input Function)

使用 pandas_input_fn 快速读取 DataFrame 数据：

import pandas as pd

# 假设 df 是包含数据的 Pandas DataFrame
df = pd.read_csv("data.csv")

def train_input_fn():
    return tf.estimator.inputs.pandas_input_fn(
        x=df[["age", "gender", "occupation"]],
        y=df["label"],
        batch_size=32,
        num_epochs=None,
        shuffle=True)

3. 创建并训练模型

使用预制的线性分类器或深度神经网络分类器：

# 创建 DNN 分类器
classifier = tf.estimator.DNNClassifier(
    feature_columns=[tf.feature_column.indicator_column(c) if isinstance(c, tf.feature_column.CategoricalColumn) else c for c in base_features],
    hidden_units=[64, 32],
    n_classes=2,
    model_dir="/tmp/model_dir")

# 训练模型
classifier.train(input_fn=train_input_fn, steps=1000)

4. 评估与导出

使用 train_and_evaluate 或单独进行评估，并导出 SavedModel 用于服务：

# 评估
eval_result = classifier.evaluate(input_fn=eval_input_fn)
print(eval_result)

# 导出模型以供 Serving (支持 CSV/JSON 输入)
receiver_fn = tf.estimator.build_parsing_serving_input_receiver_fn(
    tf.feature_column.make_parse_example_spec(base_features))
export_path = classifier.export_savedmodel("/tmp/export_dir", receiver_fn)

通过以上步骤，您可以快速复现项目中涵盖的分类、回归、时间序列分析及文本处理等多种机器学习任务。更多高级用法（如自定义 model_fn、TFMA 评估、Wide & Deep 模型组合）请参考项目各子目录下的具体教程脚本。