TensorFlow Transform

TensorFlow Transform 是一个用于使用 TensorFlow 预处理数据的库。 tf.Transform 对于需要完整遍历的数据非常有用，例如：

• 根据均值和标准差对输入值进行归一化。
• 通过在所有输入值上生成词汇表，将字符串转换为整数。
• 根据观察到的数据分布，将浮点数分配到不同的桶中以转换为整数。

TensorFlow 内置支持对单个样本或一批样本的操作。tf.Transform 扩展了这些功能，使其能够支持对整个数据集的完整遍历。

tf.Transform 的输出会导出为一个 TensorFlow 图，用于训练和推理阶段。在训练和推理阶段使用相同的图可以避免数据偏移，因为两个阶段应用了相同的转换。

有关 tf.Transform 的介绍，请参阅 TFX 开发者峰会关于 TFX 的演讲中的 tf.Transform 部分 (链接)。

安装

推荐使用 tensorflow-transform PyPI 包 来安装 tf.Transform：

pip install tensorflow-transform

从源代码构建 TFT

要从源代码构建，请按照以下步骤操作： 首先创建一个虚拟环境，运行以下命令：

python -m venv <virtualenv_name>
source <virtualenv_name>/bin/activate
git clone https://github.com/tensorflow/transform.git
cd transform
pip install .

如果您正在开发 TFT 仓库，请将

pip install .

替换为

pip install -e .

-e 标志会使 TFT 以 开发模式 安装。

每日构建包

TFT 还在 Google Cloud 上的 https://pypi-nightly.tensorflow.org 提供每日构建包。要安装最新的每日构建包，请使用以下命令：

pip install --extra-index-url https://pypi-nightly.tensorflow.org/simple tensorflow-transform

这将安装 TFT 主要依赖项的每日构建包，例如 TensorFlow Metadata (TFMD) 和 TFX Basic Shared Libraries (TFX-BSL)。

运行测试

要运行 TFT 测试，请从仓库根目录运行以下命令：

pytest

重要依赖项

需要 TensorFlow。

还需要 Apache Beam；它是支持高效分布式计算的方式。默认情况下，Apache Beam 以本地模式运行，但也可以使用 Google Cloud Dataflow 和其他 Apache Beam 运行器 以分布式模式运行。

此外，还需要 Apache Arrow。TFT 使用 Arrow 在内部表示数据，以便利用向量化 numpy 函数。

兼容版本

下表列出了彼此兼容的 tf.Transform 包版本。这是由我们的测试框架确定的，但其他未经过测试的组合也可能有效。

tensorflow-transform	apache-beam[gcp]	pyarrow	tensorflow	tensorflow-metadata	tfx-bsl
GitHub master	2.65.0	10.0.1	nightly (2.x)	1.17.1	1.17.1
1.17.0	2.65.0	10.0.1	2.17	1.17.1	1.17.1
1.16.0	2.60.0	10.0.1	2.16	1.16.1	1.16.1
1.15.0	2.47.0	10.0.0	2.15	1.15.0	1.15.1
1.14.0	2.47.0	10.0.0	2.13	1.14.0	1.14.0
1.13.0	2.41.0	6.0.0	2.12	1.13.1	1.13.0
1.12.0	2.41.0	6.0.0	2.11	1.12.0	1.12.0
1.11.0	2.41.0	6.0.0	1.15.5 / 2.10	1.11.0	1.11.0
1.10.0	2.40.0	6.0.0	1.15.5 / 2.9	1.10.0	1.10.0
1.9.0	2.38.0	5.0.0	1.15.5 / 2.9	1.9.0	1.9.0
1.8.0	2.38.0	5.0.0	1.15.5 / 2.8	1.8.0	1.8.0
1.7.0	2.36.0	5.0.0	1.15.5 / 2.8	1.7.0	1.7.0
1.6.1	2.35.0	5.0.0	1.15.5 / 2.8	1.6.0	1.6.0
1.6.0	2.35.0	5.0.0	1.15.5 / 2.7	1.6.0	1.6.0
1.5.0	2.34.0	5.0.0	1.15.2 / 2.7	1.5.0	1.5.0
1.4.1	2.33.0	4.0.1	1.15.2 / 2.6	1.4.0	1.4.0
1.4.0	2.33.0	4.0.1	1.15.2 / 2.6	1.4.0	1.4.0
1.3.0	2.31.0	2.0.0	1.15.2 / 2.6	1.2.0	1.3.0
1.2.0	2.31.0	2.0.0	1.15.2 / 2.5	1.2.0	1.2.0
1.1.1	2.29.0	2.0.0	1.15.2 / 2.5	1.1.0	1.1.1
1.1.0	2.29.0	2.0.0	1.15.2 / 2.5	1.1.0	1.1.0
1.0.0	2.29.0	2.0.0	1.15 / 2.5	1.0.0	1.0.0
0.30.0	2.28.0	2.0.0	1.15 / 2.4	0.30.0	0.30.0
0.29.0	2.28.0	2.0.0	1.15 / 2.4	0.29.0	0.29.0
0.28.0	2.28.0	2.0.0	1.15 / 2.4	0.28.0	0.28.1
0.27.0	2.27.0	2.0.0	1.15 / 2.4	0.27.0	0.27.0
0.26.0	2.25.0	0.17.0	1.15 / 2.3	0.26.0	0.26.0
0.25.0	2.25.0	0.17.0	1.15 / 2.3	0.25.0	0.25.0
0.24.1	2.24.0	0.17.0	1.15 / 2.3	0.24.0	0.24.1
0.24.0	2.23.0	0.17.0	1.15 / 2.3	0.24.0	0.24.0
0.23.0	2.23.0	0.17.0	1.15 / 2.3	0.23.0	0.23.0
0.22.0	2.20.0	0.16.0	1.15 / 2.2	0.22.0	0.22.0
0.21.2	2.17.0	0.15.0	1.15 / 2.1	0.21.0	0.21.3
0.21.0	2.17.0	0.15.0	1.15 / 2.1	0.21.0	0.21.0
0.15.0	2.16.0	0.14.0	1.15 / 2.0	0.15.0	0.15.0
0.14.0	2.14.0	0.14.0	1.14	0.14.0	无数据
0.13.0	2.11.0	无数据	1.13	0.12.1	无数据
0.12.0	2.10.0	无数据	1.12	0.12.0	无数据
0.11.0	2.8.0	无数据	1.11	0.9.0	无数据
0.9.0	2.6.0	无数据	1.9	0.9.0	无数据
0.8.0	2.5.0	无数据	1.8	无数据	无数据
0.6.0	2.4.0	无数据	1.6	无数据	无数据
0.5.0	2.3.0	无数据	1.5	无数据	无数据
0.4.0	2.2.0	无数据	1.4	无数据	无数据
0.3.1	2.1.1	无数据	1.3	无数据	无数据
0.3.0	2.1.1	无数据	1.3	无数据	无数据
0.1.10	2.0.0	无数据	1.0	无数据	无数据

问题

如有关于使用 tf.Transform 的任何问题，请前往 Stack Overflow，并使用 tensorflow-transform 标签提问。

TensorFlow Transform 快速上手指南

TensorFlow Transform (TFT) 是一个用于在 TensorFlow 中预处理数据的库。它专为需要全量数据遍历（full-pass）的场景设计，例如计算全局均值/标准差进行归一化、基于全量数据生成词汇表将字符串转为整数、或根据数据分布进行分桶。

TFT 的核心优势在于它将预处理逻辑导出为 TensorFlow 图，确保训练阶段和服务阶段使用完全相同的转换逻辑，从而有效防止训练与服务之间的数据偏差（Skew）。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux, macOS, 或 Windows (推荐 Linux)
• Python 版本: 3.9, 3.10, 或 3.11
• 核心依赖:
  • TensorFlow: 必须安装，版本需与 TFT 严格对应（见下文兼容性说明）。
  • Apache Beam: 用于支持高效的分布式计算（默认本地运行，也可配置为 Google Cloud Dataflow 等分布式模式）。
  • Apache Arrow: 用于内部数据表示以利用向量化 NumPy 函数。

注意：不同版本的 tensorflow-transform 对 TensorFlow 和其他库有严格的版本依赖。建议参考官方兼容性矩阵选择对应的版本组合。例如，TFT 1.17.0 通常需要 TensorFlow 2.17 和 Apache Beam 2.65.0。

安装步骤

方式一：通过 PyPI 安装（推荐）

这是最稳定的安装方式。如果您在中国大陆地区，建议使用国内镜像源加速下载。

pip install tensorflow-transform -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：从源码构建（开发模式）

如果您需要修改 TFT 源码或体验最新功能，可以从 GitHub 克隆并安装。

# 1. 创建虚拟环境
python -m venv tft_env
source tft_env/bin/activate  # Windows 用户请使用: tft_env\Scripts\activate

# 2. 克隆仓库
git clone https://github.com/tensorflow/transform.git
cd transform

# 3. 安装依赖并进入开发模式
# 使用 -e 标志可让代码修改即时生效
pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

方式三：安装夜间构建版 (Nightly)

如需测试最新特性（可能不稳定），可安装夜间版本：

pip install --extra-index-url https://pypi-nightly.tensorflow.org/simple tensorflow-transform

基本使用

TFT 的工作流程通常分为两个阶段：

1. 分析阶段 (Analyze): 遍历整个数据集，计算统计信息（如均值、词汇表）。
2. 转换阶段 (Transform): 利用分析得到的统计信息，对数据进行实际转换，并生成可用于训练和服务的 TensorFlow 图。

以下是一个最简单的示例，演示如何将字符串特征转换为整数索引，并将数值特征归一化：

import tensorflow as tf
import tensorflow_transform as tft
from tensorflow_transform.tf_metadata import dataset_metadata, schema_utils

# 1. 定义输入数据的 Schema
raw_data_metadata = dataset_metadata.DatasetMetadata(
    schema_utils.schema_from_feature_spec({
        'rating': tf.io.FixedLenFeature([], tf.float32),
        'comment': tf.io.FixedLenFeature([], tf.string),
    }))

# 2. 定义预处理函数 (Preprocessing Function)
def preprocessing_fn(inputs):
    """定义转换逻辑。"""
    outputs = inputs.copy()
    
    # 将字符串 'comment' 转换为整数索引 (基于全量数据生成词汇表)
    outputs['comment_idx'] = tft.compute_and_apply_vocabulary(inputs['comment'])
    
    # 将浮点数 'rating' 归一化到 0-1 之间 (基于全量数据计算 min/max)
    outputs['rating_normalized'] = tft.scale_to_0_1(inputs['rating'])
    
    return outputs

# 3. 执行转换
# 在实际生产中，这里通常使用 Apache Beam Pipeline 读取数据并运行 transform_beam.run()
# 此处仅为逻辑展示，具体运行需结合 Beam Runner (如 DirectRunner)
import apache_beam as beam
from tensorflow_transform.beam import impl as beam_impl
from tensorflow_transform.beam import tft_beam

raw_data = [
    {'rating': 4.5, 'comment': 'Great movie!'},
    {'rating': 2.0, 'comment': 'Too slow.'},
    {'rating': 5.0, 'comment': 'Perfect.'},
]

with beam.Pipeline() as pipeline:
    with tft_beam.Context(temp_dir='./temp'):
        # 将原始数据转换为 Beam PCollection 并应用转换
        transformed_dataset, transform_fn = (
            (raw_data, raw_data_metadata)
            | tft_beam.AnalyzeAndTransformDataset(preprocessing_fn)
        )

# transformed_dataset 包含转换后的数据和新的 metadata
# transform_fn 是导出的 TensorFlow 图，可直接用于训练模型或服务端推理
print("转换完成。transform_fn 可保存并加载到 Serving 环境中。")

关键点说明：

• tft.compute_and_apply_vocabulary 和 tft.scale_to_0_1 是典型的“全量”操作，它们会在后台自动触发数据分析过程。
• 生成的 transform_fn 是一个标准的 TensorFlow SavedModel，您可以直接在 TensorFlow Serving 中加载它，确保线上推理时的预处理逻辑与训练时完全一致。