NVIDIA Merlin

NVIDIA Merlin 是一个开源库，可在 NVIDIA GPU 上加速推荐系统。该库使数据科学家、机器学习工程师和研究人员能够大规模构建高性能的推荐模型。Merlin 包含用于解决常见特征工程、训练和推理挑战的工具。Merlin 管道的每个阶段都经过优化，可支持数百 TB 的数据，并且所有功能均可通过易于使用的 API 访问。更多信息请参阅 NVIDIA 开发者网站上的 NVIDIA Merlin。

优势

NVIDIA Merlin 是一种可扩展的 GPU 加速解决方案，可轻松实现端到端的推荐系统构建。借助 NVIDIA Merlin，您可以：

• 对数据进行转换（ETL），以进行预处理和特征工程。
• 通过利用优化的自定义数据加载器，加速您现有的 TensorFlow、PyTorch 或 FastAI 训练管道。
• 通过分布式存储超出 GPU 和 CPU 内存容量的大规模嵌入表，扩展大型深度学习推荐模型。
• 仅需几行代码即可将数据转换和训练好的模型部署到生产环境。

NVIDIA Merlin 的组件

NVIDIA Merlin 由以下开源库组成：

NVTabular
NVTabular 是一个用于表格数据的特征工程和预处理库。该库可以快速简便地操作用于训练深度学习推荐系统的 TB 级数据集。它提供了一个高级 API，可用于定义复杂的数据转换工作流。使用 NVTabular，您可以：

• 快速简便地准备数据集以进行实验，从而训练更多模型。
• 处理超出 GPU 和 CPU 内存容量的数据集，而无需担心规模问题。
• 专注于如何处理数据，而不是如何实现，因为该库在操作层面提供了抽象。

HugeCTR
HugeCTR 是一个 GPU 加速的训练框架，可通过在多个 GPU 和节点之间分配训练任务来扩展大型深度学习推荐模型。HugeCTR 包含经过优化的 GPU 加速数据加载器，并提供将大型嵌入表扩展到超出可用内存容量之外的策略。使用 HugeCTR，您可以：

• 将嵌入表分布在多个 GPU 或节点上。
• 在训练阶段以粗粒度、按需的方式将嵌入表的一部分加载到 GPU 中。

Merlin Models
Merlin Models 库为推荐系统提供了标准模型，旨在实现高质量的实现，涵盖从经典机器学习模型到高度先进的深度学习模型。使用 Merlin Models，您可以：

• 通过为 TensorFlow、PyTorch 和 HugeCTR 提供高性能数据加载器，将排名模型的训练速度提升多达 10 倍。
• 通过自动将 NVTabular 创建的数据集映射到模型输入层，快速迭代特征工程和模型探索。模型输入层允许您单独更改其中一方而不影响另一方。
• 组装可连接的通用 RecSys 架构模块，以便快速简便地创建新模型。

Transformers4Rec
Transformers4Rec 库提供基于序列和会话的推荐功能。该库包含与标准 PyTorch 模块兼容的模块化构建块。您可以使用这些构建块设计自定义架构，例如多塔、多头和多任务以及损失函数。使用 Transformers4Rec，您可以：

• 从任何序列化的表格数据中构建基于序列和会话的推荐系统。
• 利用与 NVTabular 的集成，实现无缝的数据预处理和特征工程。
• 执行下一项预测任务，以及经典的二分类或回归任务。

Merlin Systems
Merlin Systems 提供了将推荐模型与其他生产级推荐系统组件（如特征存储、最近邻搜索和探索策略）结合在一起的工具，从而构建可使用 Triton 推理服务器服务的端到端推荐管道。使用 Merlin Systems，您可以：

• 从基于 Triton 推理服务器的集成推荐服务平台开始。
• 创建定义端到端推荐生成流程的图。
• 享受与推荐系统管道中常用工具的现有集成带来的便利。

Merlin Core
Merlin Core 提供了整个 Merlin 生态系统中通用的功能。使用 Merlin Core，您可以：

• 使用标准的数据集抽象来跨多个 GPU 和节点处理大型数据集。
• 利用通用模式识别关键数据集特征，从而使 Merlin 能够自动化常规建模和推理任务。
• 通过共享的数据转换算子图 API 简化您的代码。

安装

使用 Merlin 的最简单方式是运行一个 Docker 容器。NVIDIA GPU Cloud (NGC) 提供了包含所有 Merlin 组件库和依赖项的容器，并且这些容器都经过单元测试和集成测试。更多信息请参阅 容器 页面。

若要开发并为 Merlin 做贡献，请查阅各个组件库的安装文档。每个 Merlin 组件的开发环境都可以通过 conda 或 pip 轻松搭建：

组件	安装步骤
HugeCTR	https://nvidia-merlin.github.io/HugeCTR/master/hugectr_contributor_guide.html
Merlin Core	https://github.com/NVIDIA-Merlin/core/blob/stable/README.md#installation
Merlin Models	https://github.com/NVIDIA-Merlin/models/blob/stable/README.md#installation
Merlin Systems	https://github.com/NVIDIA-Merlin/systems/blob/stable/README.md#installation
NVTabular	https://github.com/NVIDIA-Merlin/NVTabular/blob/stable/README.md#installation
Transformers4Rec	https://github.com/NVIDIA-Merlin/Transformers4Rec/blob/stable/README.md#installation

示例笔记本与教程

我们提供了一系列端到端示例，以 Jupyter 笔记本的形式呈现。 这些示例笔记本展示了如何：

• 下载并准备数据集。
• 使用预处理和特征工程。
• 用 TensorFlow、PyTorch、FastAI、HugeCTR 或 Merlin Models 训练深度学习推荐模型。
• 使用 Triton 推理服务器将模型部署到生产环境。

这些示例基于不同的数据集，涵盖了广泛的现实场景应用。

Merlin 的技术基础

RAPIDS cuDF
Merlin 依赖 cuDF 实现 GPU 加速的 DataFrame 操作，用于特征工程。

Dask
Merlin 利用 Dask 在 NVTabular 中实现特征工程和预处理的分布式与规模化，并加速 Merlin Models 和 HugeCTR 中的数据加载。

Triton 推理服务器
Merlin 借助 Triton 推理服务器为推荐系统流水线提供 GPU 加速的推理服务。

反馈与支持

如需报告 bug 或寻求帮助，请提交 issue。

NVIDIA Merlin 快速上手指南

NVIDIA Merlin 是一个开源库，旨在利用 NVIDIA GPU 加速推荐系统的构建。它涵盖了从数据预处理（ETL）、模型训练到生产部署的全流程，支持处理数百 TB 级别的数据。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 硬件要求：
  • 配备 NVIDIA GPU 的服务器或工作站（推荐使用支持 CUDA 的 GPU）。
  • 显存大小取决于数据集规模，Merlin 支持分布式多卡训练以突破单卡显存限制。
• 软件要求：
  • 操作系统：Linux (Ubuntu 18.04/20.04/22.04 推荐)。
  • 驱动：已安装兼容的 NVIDIA 驱动程序和 CUDA Toolkit。
  • 容器运行时：推荐安装 Docker 和 NVIDIA Container Toolkit (nvidia-docker2)，这是使用 Merlin 最简便的方式。
  • 包管理工具：若选择源码安装，需安装 conda 或 pip。

提示：国内用户若拉取 Docker 镜像较慢，可配置阿里云、腾讯云或网易云等国内 Docker 镜像加速器。

2. 安装步骤

NVIDIA 官方推荐使用 Docker 容器方式运行，因为它预装了所有组件库、依赖项并通过了测试，能避免复杂的环境配置问题。

方法一：使用 Docker 容器（推荐）

直接从 NVIDIA GPU Cloud (NGC) 拉取包含完整 Merlin 生态的镜像：

docker pull nvcr.io/nvidia/merlin/merlin-tensorflow:23.12
# 或者 PyTorch 版本
docker pull nvcr.io/nvidia/merlin/merlin-pytorch:23.12

启动容器（确保挂载当前目录以便访问代码和数据）：

docker run --gpus all -it --rm -v $(pwd):/workspace nvcr.io/nvidia/merlin/merlin-pytorch:23.12

方法二：使用 pip/conda 单独安装组件

如果您需要在现有环境中开发或贡献代码，可以单独安装各个组件。以下是核心组件的安装命令示例：

# 安装 NVTabular (数据预处理)
pip install nvtabular

# 安装 Merlin Models (模型构建)
pip install merlin-models

# 安装 Transformers4Rec (序列推荐)
pip install transformers4rec

# 安装 Merlin Systems (部署服务)
pip install merlin-systems

# 安装 HugeCTR (大规模稀疏模型训练框架，建议参考其官方文档进行特定安装)

注意：单独安装时，请确保已预先安装好对应的深度学习框架（如 TensorFlow 或 PyTorch）以及 RAPIDS cuDF 等底层依赖。

3. 基本使用

Merlin 的典型工作流分为三个阶段：数据预处理 (NVTabular) -> 模型训练 (Merlin Models/HugeCTR) -> 模型部署 (Merlin Systems/Triton)。

以下是一个基于 PyTorch 和 NVTabular 的最小化端到端示例流程：

第一步：数据预处理与特征工程 (NVTabular)

使用 NVTabular 加载数据、定义转换工作流并输出为优化的格式。

import nvtabular as nvt
from nvtabular import ops as ops

# 1. 定义输入列
cat_columns = ["user_id", "item_id"]
label_columns = ["click"]

# 2. 定义预处理工作流 (Workflow)
workflow = nvt.Workflow(
    cat_columns >> ops.Categorify() >> ops.Rename(postfix="_encoded")
)

# 3. 加载数据集并应用工作流
# 假设有一个包含原始数据的 DataFrame 或文件路径
dataset = nvt.Dataset("./raw_data/")
workflow.fit(dataset)
transformed_dataset = workflow.transform(dataset)

# 4. 保存处理后的数据供训练使用
transformed_dataset.to_parquet(output_path="./processed_data/")

第二步：模型构建与训练 (Merlin Models)

利用 Merlin Models 快速构建推荐模型，并自动对接 NVTabular 生成的 Schema。

import merlin.models as mm
from merlin.io import Dataset
from merlin.models.loader.tf_utils import configure_tensorflow

# 加载预处理后的数据
train_ds = Dataset("./processed_data/")

# 构建一个简单的双塔模型 (Two-Tower Model)
model = mm.DualTowerModel(
    train_ds.schema,
    query_tower=mm.MLPBlock([64, 32]),
    item_tower=mm.MLPBlock([64, 32]),
    prediction_tasks=mm.BinaryClassificationTask("click")
)

# 编译模型
model.compile(optimizer="adam", loss="binary_crossentropy")

# 训练模型
model.fit(train_ds, batch_size=1024, epochs=5)

第三步：模型部署 (Merlin Systems & Triton)

将数据处理流程和训练好的模型组合成一个完整的推理图，并导出到 Triton Inference Server。

from merlin.systems.triton import export_triton_model

# 创建推理图，串联预处理和模型预测
# 这里假设 workflow 和 model 已在上文定义
inference_pipeline = workflow + model

# 导出模型到 Triton 格式
export_triton_model(
    inference_pipeline, 
    output_dir="./triton_model_repo", 
    version=1
)

导出完成后，您可以使用 Triton Inference Server 启动服务：

tritonserver --model-repository=./triton_model_repo

至此，您已完成从数据准备到模型服务的全流程。更多详细案例请参考项目 examples/ 目录下的 Jupyter Notebook。