NVTabular

NVTabular 是一个用于表格数据（tabular data）的特征工程（feature engineering）和预处理（preprocessing）库，旨在轻松管理 TB 级（terabyte scale）数据集并训练基于深度学习（DL）的推荐系统（recommender systems）。它提供高级抽象以简化代码，并使用 RAPIDS Dask-cuDF 库在图形处理器（GPU）上加速计算。

NVTabular 是 NVIDIA Merlin 的一个组件，这是一个用于构建和部署推荐系统的开源框架，并与其它 Merlin 组件协同工作，包括 Merlin Models、HugeCTR 和 Merlin Systems，从而在 GPU 上实现推荐系统的端到端加速。除了模型训练之外，借助 NVIDIA 的 Triton Inference Server，训练期间对数据执行的特征工程和预处理步骤可以自动应用于推理期间的传入数据。

优势

在训练深度学习（DL）推荐系统时，数据科学家和机器学习（ML）工程师曾面临以下挑战：

• 海量数据集（Huge Datasets）：商业推荐系统在海量数据集上进行训练，规模可能达到数 TB。
• 复杂的数据特征工程和预处理流程（Complex Data Feature Engineering and Preprocessing Pipelines）：数据集需要经过预处理和转换才能与深度学习（DL）模型和框架一起使用。此外，特征工程会从现有数据中创建大量新特征，需要多次迭代才能达到最优解决方案。
• 输入瓶颈（Input Bottleneck）：如果数据加载未得到良好优化，可能会成为训练过程中最慢的部分，导致高吞吐量计算设备（如 GPU）利用率不足。
• 大量的重复实验（Extensive Repeated Experimentation）：整个数据工程、训练和评估过程可能是重复且耗时的，需要大量的计算资源。

NVTabular 缓解了这些挑战，并帮助数据科学家和机器学习（ML）工程师：

• 处理超出图形处理器（GPU）和中央处理器（CPU）内存的数据集，而无需担心规模问题。
• 通过利用操作层面的抽象，专注于如何处理数据而不是如何实现。
• 快速轻松地准备数据集用于实验，以便训练更多模型。
• 通过提供更快的数据集转换，将模型部署到生产环境。

在 NVTabular 核心功能文档 中了解更多。

性能

当在单个 V100 32GB GPU 上使用 Criteo 1TB 点击日志数据集运行 NVTabular 时，特征工程和预处理能够在 13 分钟内完成。此外，当在配备八个 V100 GPU 的 DGX-1 集群上运行 NVTabular 时，特征工程和预处理能够在三分钟内完成。结合 HugeCTR，数据集可以在仅六分钟内完成处理并训练完整模型。

Criteo DRLM 工作流的性能也证明了 NVTabular 库的有效性。Numpy 中提供的原始 ETL（提取、转换、加载）脚本耗时超过五天才能完成。结合 CPU 训练，总迭代时间超过一周。通过在 Spark 中优化 ETL 代码并在等效于 DGX-1 的集群上运行，完成特征工程和预处理的时间减少到了三小时。同时，训练在一小时内完成。

安装

NVTabular 需要 Python 版本 3.7+。此外，GPU 支持需要：

• CUDA 版本 11.0+
• NVIDIA Pascal GPU 或更高版本（Compute Capability >=6.0）
• NVIDIA 驱动程序 450.80.02+
• Linux 或 WSL

使用 Conda 安装 NVTabular

可以通过运行以下命令从 nvidia 通道使用 Anaconda 安装 NVTabular：

conda install -c nvidia -c rapidsai -c numba -c conda-forge nvtabular python=3.7 cudatoolkit=11.2

使用 Pip 安装 NVTabular

可以通过运行以下命令使用 pip 安装 NVTabular：

pip install nvtabular

使用 Pip 安装 NVTabular 会导致 NVTabular 仅在 CPU 上运行，并且可能需要手动安装额外的依赖项。 当我们在 Docker 容器中运行 NVTabular 时，依赖项已经安装好了。

使用 Docker 安装 NVTabular

NVTabular Docker 容器可在 NVIDIA Merlin 容器仓库 中找到。下表总结了有关容器的关键信息：

容器名称	容器位置	功能
merlin-hugectr	https://catalog.ngc.nvidia.com/orgs/nvidia/teams/merlin/containers/merlin-hugectr	NVTabular、HugeCTR 和 Triton 推理
merlin-tensorflow	https://catalog.ngc.nvidia.com/orgs/nvidia/teams/merlin/containers/merlin-tensorflow	NVTabular、Tensorflow 和 Triton 推理
merlin-pytorch	https://catalog.ngc.nvidia.com/orgs/nvidia/teams/merlin/containers/merlin-pytorch	NVTabular、PyTorch 和 Triton 推理

要使用这些 Docker 容器，您首先需要安装 NVIDIA Container Toolkit 以为 Docker 提供 GPU 支持。您可以使用上表中引用的 NGC 链接获取有关如何启动和运行这些容器的更多信息。要获取有关 NVTabular 每个容器支持的软件和模型版本的更多信息，请参阅 支持矩阵。

Notebook 示例和教程

我们提供了一系列 示例集合，以 Jupyter Notebook 的形式展示如何使用 NVTabular 进行 Feature Engineering（特征工程）：

• NVTabular 高级 API 介绍
• 使用 NVTabular 的高级 Workflow（工作流）
• CPU 上的 NVTabular
• 将 NVTabular 扩展到多 GPU 系统

此外，NVTabular 还被用于我们其他 Merlin 库中的许多示例中：

• Merlin 端到端示例
• Merlin Models 训练示例
• Transformer4Rec 训练示例

反馈与支持

如果您想直接为该库做出贡献，请参阅 Contributing.md。我们特别关注针对我们的 Feature Engineering 和 Preprocessing（预处理）操作的贡献或功能请求。为了进一步推进我们的 Merlin Roadmap（路线图），我们鼓励您在此 调查 中分享有关您的 Recommender System（推荐系统）Pipeline（流水线）的所有细节。

如果您有兴趣了解更多关于 NVTabular 的工作原理，请参阅 我们的 NVTabular 文档。我们还提供了 API 文档，概述了库内可用调用的具体细节。

NVTabular 快速上手指南

NVTabular 是 NVIDIA Merlin 框架的核心组件之一，专为深度学习推荐系统设计。它是一个用于表格数据的特征工程和预处理库，能够轻松管理 TB 级数据集，并利用 GPU 加速计算（基于 RAPIDS Dask-cuDF）。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux 或 WSL
• Python 版本：3.7 及以上
• CUDA 版本：11.0 及以上
• NVIDIA 驱动：450.80.02 及以上
• GPU 硬件：NVIDIA Pascal 架构或更高版本（Compute Capability >= 6.0）

安装步骤

根据您的需求，可以选择 Conda、Pip 或 Docker 进行安装。推荐使用 Conda 以获得完整的 GPU 支持。

1. 使用 Conda 安装（推荐）

通过 Anaconda 从 nvidia 频道安装，这将自动配置 GPU 依赖：

conda install -c nvidia -c rapidsai -c numba -c conda-forge nvtabular python=3.7 cudatoolkit=11.2

2. 使用 Pip 安装

pip install nvtabular

注意：通过 Pip 安装 NVTabular 仅支持 CPU 运行，且可能需要手动安装额外的依赖项。如需 GPU 支持，建议使用 Conda 或 Docker。

3. 使用 Docker 安装

NVTabular 提供了预构建的 Docker 容器，集成在 NVIDIA Merlin 容器中。使用前需安装 NVIDIA Container Toolkit。

容器名称	功能描述
merlin-hugectr	包含 NVTabular, HugeCTR 和 Triton Inference
merlin-tensorflow	包含 NVTabular, Tensorflow 和 Triton Inference
merlin-pytorch	包含 NVTabular, PyTorch 和 Triton Inference

具体镜像地址请参考 NVIDIA Merlin container repository。

基本使用

以下示例展示了如何使用 NVTabular 的高层 API 进行基本的特征工程流程：加载数据、定义转换操作、拟合工作流并输出结果。

import nvtabular as nvt
from nvtabular import ops

# 1. 加载数据 (支持 parquet, csv 等格式)
dataset = nvt.Dataset("input_data.parquet")

# 2. 定义工作流 (Workflow)
# 对 user_id 和 item_id 列进行类别编码 (Categorify)
workflow = nvt.Workflow(
    [
        nvt.ColumnSelector(["user_id"]) >> ops.Categorify(),
        nvt.ColumnSelector(["item_id"]) >> ops.Categorify(),
    ]
)

# 3. 拟合工作流并转换数据
workflow.fit(dataset)
transformed_dataset = workflow.transform(dataset)

# 4. 保存处理后的数据
transformed_dataset.to_parquet("output_data/")

更多高级用法和多 GPU 扩展示例，请参阅官方提供的 Jupyter Notebook 示例。