用于 Tensor Core 的 NVIDIA 深度学习示例

简介

本仓库提供了易于训练和部署的最先进深度学习示例，在 NVIDIA Volta、Turing 和 Ampere GPU 上运行 NVIDIA CUDA-X 软件栈时，能够实现最佳的可复现精度和性能。

NVIDIA GPU Cloud (NGC) 容器注册表

这些示例以及我们的 NVIDIA 深度学习软件栈，以每月更新的 Docker 容器形式托管在 NGC 容器注册表中（https://ngc.nvidia.com）。这些容器包括：

• 本仓库中的最新 NVIDIA 示例
• NVIDIA 向各框架上游社区贡献的最新代码
• 最新的 NVIDIA 深度学习软件库，例如 cuDNN、NCCL、cuBLAS 等，所有这些库都经过严格的月度质量保证流程，以确保提供最佳性能
• 每个 NVIDIA 优化容器的每月发布说明

计算机视觉

模型	框架	AMP	多GPU	多节点	TensorRT	ONNX	Triton	DLC	NB
EfficientNet-B0	PyTorch	是	是	-	支持	-	支持	是	-
EfficientNet-B4	PyTorch	是	是	-	支持	-	支持	是	-
EfficientNet-WideSE-B0	PyTorch	是	是	-	支持	-	支持	是	-
EfficientNet-WideSE-B4	PyTorch	是	是	-	支持	-	支持	是	-
EfficientNet v1-B0	TensorFlow2	是	是	是	示例	-	支持	是	-
EfficientNet v1-B4	TensorFlow2	是	是	是	示例	-	支持	是	-
EfficientNet v2-S	TensorFlow2	是	是	是	示例	-	支持	是	-
GPUNet	PyTorch	是	是	-	示例	是	示例	是	-
Mask R-CNN	PyTorch	是	是	-	示例	-	支持	否	是
Mask R-CNN	TensorFlow2	是	是	-	示例	-	支持	是	-
nnUNet	PyTorch	是	是	-	支持	-	支持	是	-
ResNet-50	MXNet	是	是	-	支持	-	支持	否	-
ResNet-50	PaddlePaddle	是	是	-	示例	-	支持	否	-
ResNet-50	PyTorch	是	是	-	示例	-	示例	是	-
ResNet-50	TensorFlow	是	是	-	支持	-	支持	是	-
ResNeXt-101	PyTorch	是	是	-	示例	-	示例	是	-
ResNeXt-101	TensorFlow	是	是	-	支持	-	支持	是	-
SE-ResNeXt-101	PyTorch	是	是	-	示例	-	示例	是	-
SE-ResNeXt-101	TensorFlow	是	是	-	支持	-	支持	是	-
SSD	PyTorch	是	是	-	支持	-	支持	否	是
SSD	TensorFlow	是	是	-	支持	-	支持	是	是
U-Net Med	TensorFlow2	是	是	-	示例	-	支持	是	-

自然语言处理

模型	框架	AMP	多 GPU	多节点	TensorRT	ONNX	Triton	DLC	NB
BERT	PyTorch	是	是	是	示例	-	示例	是	-
GNMT	PyTorch	是	是	-	支持	-	支持	-	-
ELECTRA	TensorFlow2	是	是	是	支持	-	支持	是	-
BERT	TensorFlow	是	是	是	示例	-	示例	是	是
BERT	TensorFlow2	是	是	是	支持	-	支持	是	-
GNMT	TensorFlow	是	是	-	支持	-	支持	-	-
Faster Transformer	Tensorflow	-	-	-	示例	-	支持	-	-

推荐系统

模型	框架	AMP	多GPU	多节点	ONNX	Triton	DLC	NB
DLRM	PyTorch	是	是	-	是	示例	是	是
DLRM	TensorFlow2	是	是	是	-	支持	是	-
NCF	PyTorch	是	是	-	-	支持	-	-
Wide&Deep	TensorFlow	是	是	-	-	支持	是	-
Wide&Deep	TensorFlow2	是	是	-	-	支持	是	-
NCF	TensorFlow	是	是	-	-	支持	是	-
VAE-CF	TensorFlow	是	是	-	-	支持	-	-
SIM	TensorFlow2	是	是	-	-	支持	是	-

语音转文本

模型	框架	AMP	多GPU	多节点	TensorRT	ONNX	Triton	DLC	NB
Jasper	PyTorch	是	是	-	示例	是	示例	是	是
QuartzNet	PyTorch	是	是	-	支持	-	支持	是	-

文本转语音

模型	框架	AMP	多GPU	多节点	TensorRT	ONNX	Triton	DLC	NB
FastPitch	PyTorch	是	是	-	示例	-	示例	是	是
FastSpeech	PyTorch	是	是	-	示例	-	支持	-	-
Tacotron 2 和 WaveGlow	PyTorch	是	是	-	示例	是	示例	是	-
HiFi-GAN	PyTorch	是	是	-	支持	-	支持	是	-

图神经网络

模型	框架	AMP	多GPU	多节点	ONNX	Triton	DLC	NB
SE(3)-Transformer	PyTorch	是	是	-	-	支持	-	-
MoFlow	PyTorch	是	是	-	-	支持	-	-

时间序列预测

模型	框架	AMP	多GPU	多节点	TensorRT	ONNX	Triton	DLC	NB
Temporal Fusion Transformer	PyTorch	是	是	-	示例	是	示例	是	-

NVIDIA 支持

在每个网络的 README 文件中，我们都会说明将提供的支持级别。支持范围从持续更新和改进，到用于引领行业思考的特定时间点发布。

术语表

多节点训练 在 pyxis/enroot Slurm 集群上支持。

深度学习编译器 (DLC) TensorFlow XLA 以及 PyTorch JIT 和/或 TorchScript

加速线性代数 (XLA) XLA 是一种针对线性代数的领域专用编译器，能够在几乎不修改源代码的情况下加速 TensorFlow 模型。其结果是提升速度并减少内存使用。

PyTorch JIT 和/或 TorchScript TorchScript 是一种将 PyTorch 代码转换为可序列化且可优化模型的方法。TorchScript 是 PyTorch 模型（nn.Module 的子类）的一种中间表示形式，随后可以在高性能环境中运行，例如 C++。

自动混合精度 (AMP) 自动混合精度 (AMP) 可以在 Volta、Turing 和 NVIDIA Ampere 架构的 GPU 上自动启用混合精度训练。

TensorFloat-32 (TF32) TensorFloat-32 (TF32) 是 NVIDIA A100 GPU 中用于处理矩阵运算（也称为张量运算）的新数学模式。在 A100 GPU 的 Tensor Core 上运行 TF32，与 Volta GPU 上的单精度浮点运算（FP32）相比，速度最高可提升 10 倍。TF32 在 NVIDIA Ampere GPU 架构中得到支持，并默认启用。

Jupyter Notebooks (NB) Jupyter Notebook 是一个开源的 Web 应用程序，允许用户创建和共享包含实时代码、公式、可视化内容及叙述性文本的文档。

反馈 / 贡献

我们把这些示例发布在 GitHub 上，旨在更好地支持社区、促进反馈，并通过 GitHub Issues 和 pull requests 收集和实施贡献。我们欢迎所有贡献！

已知问题

在每个网络的 README 文件中，我们都会列出已知问题，并鼓励社区提供反馈。

NVIDIA DeepLearningExamples 快速上手指南

本指南帮助中国开发者快速在 NVIDIA GPU 上部署和运行业界领先的深度学习示例模型（如 EfficientNet, ResNet, Mask R-CNN 等），以获取最佳的性能和可复现的精度。

1. 环境准备

推荐使用 NVIDIA GPU Cloud (NGC) 提供的预构建 Docker 容器，这是最简便且能保证依赖库（cuDNN, NCCL, cuBLAS 等）版本兼容性的方式。

系统要求

• GPU: NVIDIA Volta, Turing 或 Ampere 架构显卡（支持 Tensor Cores）。
• 操作系统: Linux (Ubuntu 18.04/20.04 推荐)。
• 驱动: 已安装最新的 NVIDIA 驱动程序。
• 软件:
  • Docker CE 19.03+
  • NVIDIA Container Toolkit (nvidia-docker2)

前置依赖安装

确保已安装 NVIDIA Container Toolkit 以允许 Docker 访问 GPU：

# 配置 Docker 默认运行时
sudo mkdir -p /etc/docker
cat <<EOF | sudo tee /etc/docker/daemon.json
{
    "runtimes": {
        "nvidia": {
            "path": "nvidia-container-runtime",
            "runtimeArgs": []
        }
    }
}
EOF

# 重启 Docker 服务
sudo systemctl restart docker

国内加速提示：如果无法直接访问 nvcr.io，建议配置 Docker 镜像加速器（如阿里云、腾讯云等），或在 /etc/docker/daemon.json 中添加 registry-mirrors。部分国内云厂商也提供了 NGC 内容的同步镜像。

2. 安装步骤

无需手动编译源码或安装复杂的 Python 依赖，直接拉取官方优化的 Docker 容器即可。

拉取容器

登录 NGC 注册表并拉取最新版本的深度学习框架容器（以 PyTorch 为例）：

# 登录 NGC (首次使用需要执行，输入 API Key)
docker login nvcr.io

# 拉取最新的 PyTorch 容器 (包含本仓库的最新示例代码)
docker pull nvcr.io/nvidia/pytorch:24.05-py3

注：版本号 24.05 仅为示例，请替换为 NGC 上的最新版本号。TensorFlow 用户可拉取 nvcr.io/nvidia/tensorflow:24.05-tf2-py3。

启动容器

启动容器并挂载当前目录以便访问代码：

docker run --gpus all -it --rm -v $(pwd):/workspace nvcr.io/nvidia/pytorch:24.05-py3

进入容器后，示例代码通常位于 /workspace/examples 或直接集成在环境中。若需获取最新 GitHub 代码，可在容器内执行：

git clone https://github.com/NVIDIA/DeepLearningExamples.git
cd DeepLearningExamples

3. 基本使用

以下以 PyTorch 版 ResNet-50 为例，展示如何快速启动训练。其他模型（如 EfficientNet, Mask R-CNN）的使用逻辑类似，具体参数请参考各模型目录下的 README.md。

单卡训练示例

在容器内进入对应模型目录并运行训练脚本：

cd PyTorch/Classification/ConvNets/resnet50v1.5

# 运行训练脚本 (自动检测单卡)
python main.py \
    --arch resnet50 \
    --batch-size 256 \
    --epochs 90 \
    --data-path /data/imagenet \
    --amp

• --amp: 启用自动混合精度（Automatic Mixed Precision），利用 Tensor Cores 加速训练。
• --data-path: 替换为你本地的 ImageNet 数据集路径。

多卡训练示例

使用 torch.distributed.launch 或 mpirun 进行多 GPU 训练：

python -m torch.distributed.run --nproc_per_node=8 main.py \
    --arch resnet50 \
    --batch-size 256 \
    --epochs 90 \
    --data-path /data/imagenet \
    --amp

推理与部署

大多数示例支持导出为 ONNX 或使用 TensorRT 进行高性能推理。以生成 ONNX 模型为例：

python main.py \
    --arch resnet50 \
    --evaluate \
    --resume checkpoint_best.pth.tar \
    --export-onnx model.onnx

生成的 model.onnx 可直接用于 NVIDIA Triton Inference Server 进行生产环境部署。