|许可证| |文档| |格式|

NVIDIA DALI

.. overview-begin-marker-do-not-remove

NVIDIA 数据加载库（DALI）是一个 GPU 加速的数据加载和预处理库，用于加速深度学习应用。它提供了一系列高度优化的构建模块，用于加载和处理图像、视频和音频数据。它可以作为流行深度学习框架中内置数据加载器和数据迭代器的可移植替代方案。

深度学习应用需要复杂的多阶段数据处理流水线，包括加载、解码、裁剪、调整大小以及许多其他增强操作。这些目前在 CPU 上执行的数据处理流水线已经成为瓶颈，限制了训练和推理的性能与可扩展性。

DALI 通过将数据预处理卸载到 GPU 来解决 CPU 瓶颈问题。此外，DALI 还依赖于其自身的执行引擎，旨在最大化输入流水线的吞吐量。诸如预取、并行执行和批处理等功能对用户来说都是透明的。

此外，深度学习框架通常有多种数据预处理实现，这导致了训练和推理工作流的可移植性以及代码维护性方面的挑战。使用 DALI 实现的数据处理流水线是可移植的，因为它们可以轻松地重新部署到 TensorFlow、PyTorch 和 PaddlePaddle 中。

.. image:: /dali.png :width: 800 :align: center :alt: DALI 图表

DALI 的实际应用：

.. container:: dali-tabs

流水线模式：

.. code-block:: python

  from nvidia.dali.pipeline import pipeline_def
  import nvidia.dali.types as types
  import nvidia.dali.fn as fn
  from nvidia.dali.plugin.pytorch import DALIGenericIterator
  import os

  # 要使用不同的数据，请参阅 nvidia.dali.fn.readers.file 的文档
  # 该文档指向 https://github.com/NVIDIA/DALI_extra
  data_root_dir = os.environ['DALI_EXTRA_PATH']
  images_dir = os.path.join(data_root_dir, 'db', 'single', 'jpeg')


  def loss_func(pred, y):
      pass


  def model(x):
      pass


  def backward(loss, model):
      pass


  @pipeline_def(num_threads=4, device_id=0)
  def get_dali_pipeline():
      images, labels = fn.readers.file(
          file_root=images_dir, random_shuffle=True, name="Reader")
      # 在 GPU 上解码数据
      images = fn.decoders.image_random_crop(
          images, device="mixed", output_type=types.RGB)
      # 其余处理也在 GPU 上进行
      images = fn.resize(images, resize_x=256, resize_y=256)
      images = fn.crop_mirror_normalize(
          images,
          crop_h=224,
          crop_w=224,
          mean=[0.485 * 255, 0.456 * 255, 0.406 * 255],
          std=[0.229 * 255, 0.224 * 255, 0.225 * 255],
          mirror=fn.random.coin_flip())
      return images, labels


  train_data = DALIGenericIterator(
      [get_dali_pipeline(batch_size=16)],
      ['data', 'label'],
      reader_name='Reader'
  )


  for i, data in enumerate(train_data):
      x, y = data[0]['data'], data[0]['label']
      pred = model(x)
      loss = loss_func(pred, y)
      backward(loss, model)

动态模式：

.. code-block:: python

  import os
  import nvidia.dali.types as types
  import nvidia.dali.experimental.dynamic as ndd
  import torch

  # 要使用不同的数据，请参阅 ndd.readers.File 的文档
  # 该文档指向 https://github.com/NVIDIA/DALI_extra
  data_root_dir = os.environ['DALI_EXTRA_PATH']
  images_dir = os.path.join(data_root_dir, 'db', 'single', 'jpeg')


  def loss_func(pred, y):
      pass


  def model(x):
      pass


  def backward(loss, model):
      pass


  reader = ndd.readers.File(file_root=images_dir, random_shuffle=True)

  for images, labels in reader.next_epoch(batch_size=16):
      images = ndd.decoders.image_random_crop(images, device="gpu", output_type=types.RGB)
      # 其余处理也在 GPU 上进行
      images = ndd.resize(images, resize_x=256, resize_y=256)
      images = ndd.crop_mirror_normalize(
          images,
          crop_h=224,
          crop_w=224,
          mean=[0.485 * 255, 0.456 * 255, 0.406 * 255],
          std=[0.229 * 255, 0.224 * 255, 0.225 * 255],
          mirror=ndd.random.coin_flip(),
      )

      x = torch.as_tensor(images)
      y = torch.as_tensor(labels.gpu())

      pred = model(x)
      loss = loss_func(pred, y)
      backward(loss, model)

亮点

• 易于使用的函数式 Python API。
• 支持多种数据格式——LMDB、RecordIO、TFRecord、COCO、JPEG、JPEG 2000、WAV、FLAC、OGG、H.264、VP9 和 HEVC。
• 可跨主流深度学习框架使用：TensorFlow、PyTorch、PaddlePaddle、JAX。
• 支持 CPU 和 GPU 执行。
• 可扩展至多 GPU。
• 灵活的图结构使开发者能够创建自定义流水线。
• 可通过自定义算子扩展以满足特定需求。
• 加速图像分类（ResNet-50）、目标检测（SSD）工作loads以及 ASR 模型（Jasper、RNN-T）。
• 通过 GPUDirect Storage <https://developer.nvidia.com/gpudirect-storage>__ 实现存储与 GPU 内存之间的直接数据路径。
• 可通过 DALI TRITON Backend <https://github.com/triton-inference-server/dali_backend>__ 轻松集成到 NVIDIA Triton 推理服务器 <https://developer.nvidia.com/nvidia-triton-inference-server>__。
• 开源。

.. overview-end-marker-do-not-remove

---

DALI 成功案例：

• 在 Kaggle 计算机视觉竞赛中 <https://www.kaggle.com/code/theoviel/rsna-breast-baseline-faster-inference-with-dali>： "DALI 是我在本次比赛中学到的最佳工具之一" <https://www.kaggle.com/competitions/rsna-breast-cancer-detection/discussion/391059>
• Lightning Pose - 最先进的姿态估计研究模型 <https://www.ncbi.nlm.nih.gov/pmc/articles/PMC10168383/>__
• 用于提升高级计算基础设施中的资源利用率 <https://arcwiki.rs.gsu.edu/en/dali/using_nvidia_dali_loader>__
• MLPerf - 行业标准的计算和深度学习硬件及软件基准测试 <https://developer.nvidia.com/blog/mlperf-hpc-v1-0-deep-dive-into-optimizations-leading-to-record-setting-nvidia-performance/>__
• "我们使用 DALI 框架优化了 eBay 内部的主要模型" <https://www.nvidia.com/en-us/on-demand/session/gtc24-s62578/>__

---

DALI 路线图

以下议题代表 <https://github.com/NVIDIA/DALI/issues/5320>__ 我们2024年计划的高层次概览。请注意，该路线图可能会随时更改，其中条目的顺序并不反映任何优先级。

我们强烈鼓励您在上述 GitHub 问题中对我们的路线图发表评论，并向我们提供反馈。

---

安装 DALI

要为最新 CUDA 版本（12.x）安装最新的 DALI 发行版，请执行以下命令：

pip install nvidia-dali-cuda120
# 或
pip install --extra-index-url https://pypi.nvidia.com  --upgrade nvidia-dali-cuda120

DALI 需要支持相应 CUDA 版本的 NVIDIA 驱动程序 <https://www.nvidia.com/drivers>。对于基于 CUDA 12 的 DALI，还需要安装 CUDA 工具包 <https://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html>。

DALI 已预装在 TensorFlow <https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tensorflow>、PyTorch <https://catalog.ngc.nvidia.com/orgs/nvidia/containers/pytorch> 和 PaddlePaddle <https://catalog.ngc.nvidia.com/orgs/nvidia/containers/paddlepaddle>__ 容器中，这些容器位于 NVIDIA GPU Cloud <https://ngc.nvidia.com>__ 上。

有关其他安装方式（如 TensorFlow 插件、旧版 CUDA、夜间和每周构建等）以及特定需求，请参阅 安装指南 <https://docs.nvidia.com/deeplearning/dali/user-guide/docs/installation.html>__。

若要从源代码构建 DALI，请参阅 编译指南 <https://docs.nvidia.com/deeplearning/dali/user-guide/docs/compilation.html>__。

---

示例与教程

关于 DALI 的入门介绍可在 快速入门 <https://docs.nvidia.com/deeplearning/dali/user-guide/docs/examples/getting_started.html>__ 页面找到。

更高级的示例则可在 示例与教程 <https://docs.nvidia.com/deeplearning/dali/user-guide/docs/examples/index.html>__ 页面找到。

如需交互式版本（Jupyter Notebook）的示例，请前往 docs/examples <https://github.com/NVIDIA/DALI/blob/main/docs/examples>__ 目录。

注意： 请根据您的版本选择 最新发行版文档 <https://docs.nvidia.com/deeplearning/dali/user-guide/docs/index.html>__ 或与主分支保持同步的 夜间发行版文档 <https://docs.nvidia.com/deeplearning/dali/main-user-guide/docs/index.html>__。

---

附加资源

• GPU 技术大会 2024；优化 eBay 的推理模型服务以实现最高性能；Yiheng Wang： 活动链接 <https://www.nvidia.com/en-us/on-demand/session/gtc24-s62578/>__
• GPU 技术大会 2023；开发者分会场：使用 Triton Server 和 DALI 加速企业工作流；Brandon Tuttle： 活动链接 <https://www.nvidia.com/en-us/on-demand/session/gtcspring23-se52140/>__。
• GPU 技术大会 2023；GPU 加速端到端地理空间工作流；Kevin Green： 活动链接 <https://www.nvidia.com/en-us/on-demand/session/gtcspring23-s51796/>__。
• GPU 技术大会 2022；高效 NVIDIA DALI：加速实际深度学习应用；Rafał Banaś： 活动链接 <https://www.nvidia.com/en-us/on-demand/session/gtcspring22-s41442/>__。
• GPU 技术大会 2022；NVIDIA DALI 入门：GPU 加速的数据预处理；Joaquin Anton Guirao： 活动链接 <https://www.nvidia.com/en-us/on-demand/session/gtcspring22-s41443/>__。
• GPU 技术大会 2021；NVIDIA DALI：GPU 驱动的数据预处理，由 Krzysztof Łęcki 和 Michał Szołucha 主讲： 活动链接 <https://www.nvidia.com/en-us/on-demand/session/gtcspring21-s31298/>__。
• GPU 技术大会 2020；使用 NVIDIA 数据加载库 (DALI) 进行快速数据预处理；Albert Wolant、Joaquin Anton Guirao： 录像链接 <https://developer.nvidia.com/gtc/2020/video/s21139>__。
• GPU 技术大会 2019；使用 DALI 进行快速 AI 数据预处理；Janusz Lisiecki、Michał Zientkiewicz： 幻灯片链接 <https://developer.download.nvidia.com/video/gputechconf/gtc/2019/presentation/s9925-fast-ai-data-pre-processing-with-nvidia-dali.pdf>， 录像链接 <https://developer.nvidia.com/gtc/2019/video/S9925/video>。
• GPU 技术大会 2019；DALI 与 TensorRT 在 Xavier 上的集成；Josh Park 和 Anurag Dixit： 幻灯片链接 <https://developer.download.nvidia.com/video/gputechconf/gtc/2019/presentation/s9818-integration-of-tensorrt-with-dali-on-xavier.pdf>， 录像链接 <https://developer.nvidia.com/gtc/2019/video/S9818/video>。
• GPU 技术大会 2018；用于深度学习训练的快速数据流水线，T. Gale、S. Layton 和 P. Trędak： 幻灯片链接 <http://on-demand.gputechconf.com/gtc/2018/presentation/s8906-fast-data-pipelines-for-deep-learning-training.pdf>， 录像链接 <https://www.nvidia.com/en-us/on-demand/session/gtcsiliconvalley2018-s8906/>。
• 开发者页面 <https://developer.nvidia.com/DALI>__。
• 博客文章 <https://developer.nvidia.com/blog/tag/dali/>__。

---

参与贡献 DALI

我们欢迎对 DALI 的贡献。要为 DALI 做出贡献并提交拉取请求，请遵循 贡献指南 <https://github.com/NVIDIA/DALI/blob/main/CONTRIBUTING.md>__ 文档中的说明。

如果您正在寻找适合初学者的任务，请查看带有 欢迎外部贡献标签 <https://github.com/NVIDIA/DALI/labels/external%20contribution%20welcome>__ 的任务。

报告问题、提问

我们非常感谢您的反馈、问题或错误报告。当您需要代码方面的帮助时，请遵循 Stack Overflow <https://stackoverflow.com/help/mcve>__ 文档中概述的流程。请确保您发布的示例：

• 最小化：尽可能使用最少的代码，但仍能重现相同的问题。
• 完整：提供所有用于重现问题所需的组件。尝试去除外部依赖，看看是否仍能展示问题。我们花在复现问题上的时间越少，就能有更多时间用于修复。
• 可验证：在提交代码之前，先测试它是否确实能重现问题。移除所有与您的请求无关的问题。

致谢

DALI 最初是在 Trevor Gale、Przemek Tredak、Simon Layton、Andrei Ivanov 和 Serge Panev 的主要贡献下开发的。

.. |License| image:: https://img.shields.io/badge/License-Apache%202.0-blue.svg :target: https://opensource.org/licenses/Apache-2.0

.. |Documentation| image:: https://img.shields.io/badge/NVIDIA%20DALI-documentation-brightgreen.svg?longCache=true :target: https://docs.nvidia.com/deeplearning/dali/user-guide/docs/index.html

.. |Format| image:: https://img.shields.io/badge/code%20style-black-000000.svg :target: https://github.com/psf/black

NVIDIA DALI 快速上手指南

NVIDIA DALI (Data Loading Library) 是一个 GPU 加速的数据加载和预处理库，旨在解决深度学习训练中 CPU 数据预处理成为瓶颈的问题。它支持图像、视频和音频数据，可无缝集成到 TensorFlow、PyTorch、PaddlePaddle 等主流框架中。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04/20.04/22.04)。
• GPU: 支持 CUDA 的 NVIDIA GPU。
• 驱动程序: 安装与您的 CUDA 版本匹配的 NVIDIA Driver。
• CUDA Toolkit:
  • 若使用 CUDA 12.x 版本的 DALI，需安装对应的 CUDA Toolkit。
  • 若使用 NGC 容器（推荐），则无需单独安装，环境已预配置。
• Python: Python 3.8 - 3.11。
• 深度学习框架: 已安装 PyTorch、TensorFlow 或 PaddlePaddle。

提示：国内开发者推荐使用 NVIDIA NGC 中国镜像站 获取预装 DALI 的 Docker 容器，可避免复杂的环境配置。

安装步骤

方法一：使用 pip 安装（推荐用于现有环境）

针对最新的 CUDA 12.x 版本，运行以下命令：

pip install nvidia-dali-cuda120

或者使用 NVIDIA 官方 PyPI 索引进行升级安装：

pip install --extra-index-url https://pypi.nvidia.com --upgrade nvidia-dali-cuda120

注意：如果您使用的是旧版 CUDA (如 11.x)，请将包名中的 cuda120 替换为相应的版本号（例如 cuda110）。

方法二：使用 Docker 容器（最简便）

直接拉取包含 DALI 的官方容器，无需手动配置依赖：

# PyTorch 示例
docker pull nvcr.io/nvidia/pytorch:24.02-py3
# 启动容器时确保添加 --gpus all 参数以启用 GPU

基本使用

DALI 提供两种主要使用模式：Pipeline 模式（经典静态图）和 Dynamic 模式（动态图，更灵活）。以下以 PyTorch 为例展示最简单的用法。

示例：Pipeline 模式（静态定义）

此模式适合固定的数据处理流程，性能最优。

from nvidia.dali.pipeline import pipeline_def
import nvidia.dali.types as types
import nvidia.dali.fn as fn
from nvidia.dali.plugin.pytorch import DALIGenericIterator
import os

# 设置数据路径 (需提前下载 DALI_EXTRA 数据集或指向本地图片目录)
data_root_dir = os.environ.get('DALI_EXTRA_PATH', '/path/to/your/data')
images_dir = os.path.join(data_root_dir, 'db', 'single', 'jpeg')

@pipeline_def(num_threads=4, device_id=0)
def get_dali_pipeline():
    # 1. 读取文件
    images, labels = fn.readers.file(
        file_root=images_dir, random_shuffle=True, name="Reader")
    
    # 2. GPU 解码并随机裁剪
    images = fn.decoders.image_random_crop(
        images, device="mixed", output_type=types.RGB)
    
    # 3. 调整大小
    images = fn.resize(images, resize_x=256, resize_y=256)
    
    # 4. 归一化、中心裁剪及随机翻转
    images = fn.crop_mirror_normalize(
        images,
        crop_h=224,
        crop_w=224,
        mean=[0.485 * 255, 0.456 * 255, 0.406 * 255],
        std=[0.229 * 255, 0.224 * 255, 0.225 * 255],
        mirror=fn.random.coin_flip())
        
    return images, labels

# 创建迭代器
train_data = DALIGenericIterator(
    [get_dali_pipeline(batch_size=16)],
    ['data', 'label'],
    reader_name='Reader'
)

# 在训练循环中使用
for i, data in enumerate(train_data):
    x = data[0]['data']  # GPU Tensor
    y = data[0]['label'] # GPU Tensor
    
    # 此处接入您的 PyTorch 模型训练代码
    # pred = model(x)
    # loss = loss_func(pred, y)
    # loss.backward()
    break # 仅演示，实际使用时移除

示例：Dynamic 模式（动态执行）

此模式允许在 Python 循环中动态改变处理逻辑，代码风格更接近原生 PyTorch。

import os
import nvidia.dali.types as types
import nvidia.dali.experimental.dynamic as ndd
import torch

data_root_dir = os.environ.get('DALI_EXTRA_PATH', '/path/to/your/data')
images_dir = os.path.join(data_root_dir, 'db', 'single', 'jpeg')

# 定义读取器
reader = ndd.readers.File(file_root=images_dir, random_shuffle=True)

# 动态迭代
for images, labels in reader.next_epoch(batch_size=16):
    # 直接在循环中定义处理流程
    images = ndd.decoders.image_random_crop(images, device="gpu", output_type=types.RGB)
    images = ndd.resize(images, resize_x=256, resize_y=256)
    images = ndd.crop_mirror_normalize(
        images,
        crop_h=224,
        crop_w=224,
        mean=[0.485 * 255, 0.456 * 255, 0.406 * 255],
        std=[0.229 * 255, 0.224 * 255, 0.225 * 255],
        mirror=ndd.random.coin_flip(),
    )

    # 转换为 PyTorch Tensor
    x = torch.as_tensor(images)
    y = torch.as_tensor(labels.gpu())

    # 接入模型训练
    # pred = model(x)
    # loss = loss_func(pred, y)
    # loss.backward()
    break # 仅演示

关键特性说明

• device="mixed": 解码操作通常在 CPU 上进行（利用 NVJPEG 硬件加速），其余操作在 GPU 上进行，以最大化吞吐量。
• 自动批处理: DALI 自动处理数据的批量化、预取和并行执行，用户无需手动管理队列。
• 框架兼容: 输出的数据可直接作为 GPU Tensor 传递给模型，零拷贝开销。