Transformers4Rec

Transformers4Rec 是一个灵活高效的库，用于序列化和基于会话的推荐任务，并且可以与 PyTorch 配合使用。

该库通过与最流行的自然语言处理框架之一——Hugging Face Transformers（HF）集成，架起了自然语言处理（NLP）与推荐系统（RecSys）之间的桥梁。Transformers4Rec 使最先进的 Transformer 架构能够被推荐系统领域的研究人员和从业者所使用。

下图展示了该库在推荐系统中的应用。输入数据通常是交互序列，例如用户在网络会话中浏览的商品或加入购物车的商品。该库可以帮助您对这些交互进行处理和建模，从而为用户下一个可能感兴趣的项目提供更优质的推荐。

传统的推荐算法在建模用户行为时，通常会忽略时间动态和交互顺序。然而，用户的下一次交互往往与其之前的交互序列密切相关。在某些情况下，这可能是重复购买或再次播放同一首歌。此外，由于用户的偏好会随时间变化，兴趣也可能发生漂移。这些问题正是 序列化推荐 任务所要解决的。

序列化推荐的一个特殊用例是 基于会话的推荐，在这种场景下，您只能访问当前会话内的短交互序列。这种情况在电子商务、新闻和媒体门户网站等在线服务中非常常见，因为用户可能会出于 GDPR 合规要求而选择匿名浏览，或者是因为用户是新访客而不愿留下任何追踪信息。此外，在用户兴趣会根据上下文或意图频繁变化的情况下，基于当前会话的交互来提供相关推荐也比依赖旧的交互记录更为有效。

为了应对序列化和基于会话的推荐问题，许多先前应用于机器学习和 NLP 研究的序列学习算法已被探索并应用于推荐系统领域，包括 k 最近邻、频繁模式挖掘、隐 Markov 模型、循环神经网络，以及近年来兴起的基于自注意力机制和 Transformer 架构的神经网络模型。然而，与 Transformers4Rec 不同的是，这些框架通常仅接受商品 ID 序列作为输入，并且缺乏模块化、可扩展的生产级实现。

Transformers4Rec 的优势

Transformers4Rec 具有以下优势：

• 灵活性：Transformers4Rec 提供了可配置的模块化组件，这些组件与标准的 PyTorch 模块兼容。这种积木式的架构设计使您可以构建具有多塔、多头或多任务及多种损失函数的自定义模型。

• 接入 Hugging Face Transformers：得益于与 Hugging Face Transformers 的集成，您可以使用超过 64 种不同的 Transformer 架构来评估您的序列化和基于会话的推荐任务。

• 支持多种输入特征：Hugging Face Transformers 原本专为 NLP 设计，因此仅支持标记 ID 序列作为输入。而 Transformers4Rec 则允许您将其他类型的序列化表格数据作为输入，这得益于推荐系统数据集中丰富的特征。Transformers4Rec 使用一种模式来配置输入特征，并能根据目标自动创建必要的层，如嵌入表、投影层和输出层，无需修改代码即可添加新特征。您可以以可配置的方式对交互级和序列级输入特征进行归一化和组合。

• 无缝的预处理与特征工程：作为 Merlin 生态系统的一部分，Transformers4Rec 与 NVTabular 和 Triton 推理服务器 集成。这些组件使您能够构建一个完全由 GPU 加速的序列化和基于会话的推荐流水线。NVTabular 提供了针对基于会话的推荐的常用预处理操作，并导出数据集模式。该模式与 Transformers4Rec 兼容，因此可以自动配置输入特征。您可以将训练好的模型导出到 Triton 推理服务器中，形成一个包含在线特征预处理和模型推理的完整流水线。更多信息请参阅 使用 NVIDIA Merlin 构建端到端流水线。

Transformers4Rec 的成就

Transformers4Rec 近期在两项基于会话的推荐竞赛中取得了胜利：WSDM WebTour Workshop Challenge 2021（由 Booking.com 主办） 和 SIGIR eCommerce Workshop Data Challenge 2021（由 Coveo 主办）。该库在基于会话的推荐任务上表现出比基线算法更高的准确性，并且我们还进行了广泛的实验分析来验证这一点。相关发现已发表在我们的 ACM RecSys'21 论文 中。

示例代码：定义并训练模型

使用 Transformers4Rec 训练模型通常需要执行以下高层次步骤：

1. 提供 schema 并构建输入模块。

   如果您遇到基于会话的推荐问题，通常希望使用 TabularSequenceFeatures 类，因为它可以将上下文特征与序列特征合并。

2. 提供预测任务。

   我们提供的开箱即用的任务可以在我们的 API 文档 中找到。

3. 构建 Transformer 主体，并将其转换为模型。

   下面的代码示例展示了如何使用 PyTorch 定义并训练一个 XLNet 模型，用于下一个项目预测任务：

from transformers4rec import torch as tr
from transformers4rec.torch.ranking_metric import NDCGAt, RecallAt

# 创建 schema 或从磁盘读取：tr.Schema().from_json(SCHEMA_PATH)。
schema: tr.Schema = tr.data.tabular_sequence_testing_data.schema

max_sequence_length, d_model = 20, 64

# 定义输入模块以处理表格型输入特征。
input_module = tr.TabularSequenceFeatures.from_schema(
    schema,
    max_sequence_length=max_sequence_length,
    continuous_projection=d_model,
    aggregation="concat",
    masking="causal",
)

# 定义类似于 XLNet 架构的 Transformer 配置。
transformer_config = tr.XLNetConfig.build(
    d_model=d_model, n_head=4, n_layer=2, total_seq_length=max_sequence_length
)

# 定义模型块，包括：输入、掩码、投影和 Transformer 块。
body = tr.SequentialBlock(
    input_module,
    tr.MLPBlock([d_model]),
    tr.TransformerBlock(transformer_config, masking=input_module.masking)
)

# 定义评估的 top-N 指标及截断点。
metrics = [NDCGAt(top_ks=[20, 40], labels_onehot=True),
           RecallAt(top_ks=[20, 40], labels_onehot=True)]

# 定义带有 NextItemPredictionTask 的头部。
head = tr.Head(
    body,
    tr.NextItemPredictionTask(weight_tying=True, metrics=metrics),
    inputs=input_module,
)

# 获取端到端的 Model 类。
model = tr.Model(head)

您可以修改上述代码来执行二分类任务。 输入模块中的掩码可以设置为 None 而不是 causal。 在定义头部时，您可以将 NextItemPredictionTask 替换为 BinaryClassificationTask 的实例。 请参阅该类的 API 文档中的示例代码。

安装

您可以使用 Pip、Conda 安装 Transformers4Rec，或者运行 Docker 容器。

使用 Pip 安装 Transformers4Rec

您可以安装具有 GPU 加速 Merlin 数据加载器功能的 Transformers4Rec。 为了获得更好的性能，强烈建议安装包含数据加载器的版本。 这些组件可以作为 pip install 命令的可选参数进行安装。

要使用 Pip 安装 Transformers4Rec，请运行以下命令：

pip install transformers4rec[nvtabular]

-> 请注意，使用 pip 安装 Transformers4Rec 不会自动安装 RAPIDS cuDF。 -> cuDF 是 NVTabular 变换和 Merlin 数据加载器的 GPU 加速版本所必需的。

使用 pip 安装 cuDF 的说明请参见：https://docs.rapids.ai/install#pip-install

pip install cudf-cu11 dask-cudf-cu11 --extra-index-url=https://pypi.nvidia.com

使用 Conda 安装 Transformers4Rec

要使用 Conda 安装 Transformers4Rec，可以使用 conda 或 mamba 运行以下命令来创建一个新的环境。

mamba create -n transformers4rec-23.04 -c nvidia -c rapidsai -c pytorch -c conda-forge \
    transformers4rec=23.04 `# NVIDIA Merlin` \
    nvtabular=23.04 `# NVIDIA Merlin - 用于示例笔记本` \
    python=3.10 `# 兼容的 Python 环境` \
    cudf=23.02 `# RAPIDS cuDF - GPU 加速的 DataFrame` \
    cudatoolkit=11.8 pytorch-cuda=11.8 `# NVIDIA CUDA 版本`

使用 Docker 安装 Transformers4Rec

Transformers4Rec 已预装在 NVIDIA GPU Cloud (NGC) 目录中提供的 merlin-pytorch 容器中。

有关 Merlin 容器名称、目录中容器镜像的 URL 以及关键 Merlin 组件的信息，请参阅 Merlin 容器 文档页面。

笔记本示例与教程

使用 NVIDIA Merlin 的端到端流水线 页面 展示了如何使用 Transformers4Rec 和其他 Merlin 库（如 NVTabular）构建完整的推荐系统。

我们提供了多个 示例 笔记本，帮助您构建推荐系统或将 Transformers4Rec 集成到您的系统中：

• 一个入门示例，包括使用 XLNET Transformer 架构训练基于会话的模型。
• 一个端到端示例，训练模型后进一步使用 Triton 推理服务器进行推理。
• 另一个端到端示例，训练并评估基于会话的 RNN 模型，同时使用 Triton 推理服务器进行推理。
• 一本笔记本和脚本，复现了 RecSys 2021 会议上发表论文中的实验。

反馈与支持

如果您希望直接为 Transformers4Rec 做出贡献，请参阅 为 Transformers4Rec 做贡献。我们尤其关注特征工程和预处理操作方面的贡献或功能请求。为进一步推进 Merlin 发展路线图，我们鼓励您访问 https://developer.nvidia.com/merlin-devzone-survey，分享关于您推荐系统流水线的所有详细信息。

如果您想了解更多关于 Transformers4Rec 的工作原理，请参阅我们的 Transformers4Rec 文档。我们还提供 API 文档，其中详细介绍了 Transformers4Rec 中可用的模块和类。

Transformers4Rec 快速上手指南

Transformers4Rec 是一个灵活高效的库，专为序列推荐和会话推荐设计。它作为自然语言处理（NLP）与推荐系统（RecSys）之间的桥梁，集成了 Hugging Face Transformers，让开发者能够轻松将先进的 Transformer 架构应用于推荐场景。

环境准备

在开始之前，请确保您的环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04/20.04/22.04)
• GPU: NVIDIA GPU (推荐用于加速数据处理和模型训练)
• CUDA: 版本需与 PyTorch 及 RAPIDS cuDF 兼容 (例如 CUDA 11.8)
• Python: 3.8 - 3.10
• 前置依赖:
  • PyTorch
  • RAPIDS cuDF (若需使用 GPU 加速的数据加载器 NVTabular，此项必选)

注意：如果您计划使用 GPU 加速的 Merlin Dataloader 和 NVTabular 预处理功能，必须安装 cudf。

安装步骤

您可以根据需求选择 Pip、Conda 或 Docker 方式进行安装。

方式一：使用 Pip 安装（推荐）

此方式适合大多数 Python 开发环境。为了获得最佳性能，建议安装包含 nvtabular 支持的版本。

1. 安装 Transformers4Rec:

   pip install transformers4rec[nvtabular]
   

2. 安装 GPU 加速依赖 (可选但推荐): 如果需要使用 GPU 加速的数据处理，需单独安装 cudf。请根据您的 CUDA 版本选择对应命令（以下为 CUDA 11.x 示例）：

   pip install cudf-cu11 dask-cudf-cu11 --extra-index-url=https://pypi.nvidia.com
   

方式二：使用 Conda/Mamba 安装

使用 Conda 可以更方便地管理复杂的依赖关系（如 CUDA toolkit 和 PyTorch 版本）。

mamba create -n transformers4rec-23.04 -c nvidia -c rapidsai -c pytorch -c conda-forge \
    transformers4rec=23.04 \
    nvtabular=23.04 \
    python=3.10 \
    cudf=23.02 \
    cudatoolkit=11.8 pytorch-cuda=11.8

注：国内用户若访问官方源较慢，可配置清华或中科大镜像源替换 -c 后的频道地址。

方式三：使用 Docker

NVIDIA 提供了预装好所有依赖的容器镜像，适合生产环境或避免环境冲突。

从 NVIDIA GPU Cloud (NGC) 拉取 merlin-pytorch 容器：

docker pull nvcr.io/nvidia/merlin/merlin-pytorch:23.04

基本使用

以下示例展示了如何使用 PyTorch 定义并训练一个基于 XLNet 架构的下一项预测（Next Item Prediction）模型。

核心步骤代码示例

from transformers4rec import torch as tr
from transformers4rec.torch.ranking_metric import NDCGAt, RecallAt

# 1. 准备 Schema 和数据
# 这里使用内置的测试数据 schema，实际使用中可从 JSON 文件加载: tr.Schema().from_json(SCHEMA_PATH)
schema: tr.Schema = tr.data.tabular_sequence_testing_data.schema

max_sequence_length, d_model = 20, 64

# 2. 定义输入模块
# TabularSequenceFeatures 会自动处理表格特征和序列特征的合并
input_module = tr.TabularSequenceFeatures.from_schema(
    schema,
    max_sequence_length=max_sequence_length,
    continuous_projection=d_model,
    aggregation="concat",
    masking="causal", # 因果掩码，适用于序列推荐
)

# 3. 配置 Transformer 架构 (以 XLNet 为例)
transformer_config = tr.XLNetConfig.build(
    d_model=d_model, n_head=4, n_layer=2, total_seq_length=max_sequence_length
)

# 4. 构建模型主体 (Body)
# 包含输入处理、MLP 投影层和 Transformer 块
body = tr.SequentialBlock(
    input_module,
    tr.MLPBlock([d_model]),
    tr.TransformerBlock(transformer_config, masking=input_module.masking)
)

# 5. 定义评估指标
metrics = [NDCGAt(top_ks=[20, 40], labels_onehot=True),
           RecallAt(top_ks=[20, 40], labels_onehot=True)]

# 6. 定义模型头部 (Head) 和任务
# 使用 NextItemPredictionTask 进行下一项预测
head = tr.Head(
    body,
    tr.NextItemPredictionTask(weight_tying=True, metrics=metrics),
    inputs=input_module,
)

# 7. 获取完整的端到端模型
model = tr.Model(head)

# 接下来即可使用标准的 PyTorch Trainer 或自定义循环进行训练
# trainer = tr.Trainer(model=model, ...)
# trainer.train()

关键说明

• 灵活性：您可以轻松替换 transformer_config 为其他 Hugging Face 支持的架构（如 BERT, SASRec 等）。
• 任务切换：若需进行二分类任务，可将 NextItemPredictionTask 替换为 BinaryClassificationTask，并将 masking 设为 None。
• 特征工程：TabularSequenceFeatures 会根据 Schema 自动创建嵌入表和投影层，无需手动编写特征处理代码。