深度学习框架示例

如需了解更多详情，请查看我们的博客文章

目标

1. 创建一套深度学习框架的“罗塞塔石碑”系统，使数据科学家能够轻松地将自身在某一框架中的专业经验迁移到其他框架中。
2. 优化 GPU 代码，充分利用最新、最顶级的 API。
3. 提供通用的设置方案，支持跨 GPU 进行对比测试（可能涵盖 CUDA 版本及精度配置）。
4. 提供通用的设置方案，支持跨多种语言进行对比测试（Python、Julia、R）。
5. 允许用户验证自己安装环境的预期性能表现。
6. 促进不同开源社区之间的协作。

这些笔记本是在 Azure 深度学习虚拟机 上运行的。

笔记中会报告准确率（以及其他相关指标）

结果

1. 训练时间：CNN（VGG 风格，32 位）在 CIFAR-10 图像识别任务上的训练时间

DL 库	K80/CUDA 8/CuDNN 6	P100/CUDA 8/CuDNN 6
Caffe2	148	54
Chainer	162	69
CNTK	163	53
MXNet(Gluon)	152	57
Keras(CNTK)	194	76
Keras(TF)	241	76
Keras(Theano)	269	93
Tensorflow	173	57
Lasagne(Theano)	253	65
MXNet(Module API)	145	52
PyTorch	169	51
Julia - Knet	159	??
R - Keras(TF)	205	72

注意：建议尽可能使用更高层次的 API；有关示例，请参阅这些笔记本，例如 Tensorflow、MXNet 和 CNTK。为保持统一的结构，这些工具并未在表格中直接链接。

该模型的输入数据为标准的 CIFAR-10 数据集，包含 5 万张训练图像和 1 万张测试图像，均匀划分为 10 个类别。每张 32×32 的图像被映射为一个形状为 (3, 32, 32) 的张量，其像素强度从 0–255 被缩放到 0–1。

2. 训练时间：DenseNet-121 在 ChestXRay 图像识别任务上（多 GPU 环境）

使用数据加载器与数据增强，并在 SSD 硬件上进行训练与验证

DL 库	1xV100/CUDA 9/CuDNN 7	4xV100/CUDA 9/CuDNN 7
Pytorch	27 分钟	10 分钟
Keras(TF)	38 分钟	18 分钟
Tensorflow	33 分钟	22 分钟
Chainer	29 分钟	8 分钟
MXNet(Gluon)	29 分钟	10 分钟

使用内存中的合成数据进行训练

DL 库	1xV100/CUDA 9/CuDNN 7	4xV100/CUDA 9/CuDNN 7
Pytorch	25 分钟	8 分钟
Keras(TF)	36 分钟	15 分钟
Tensorflow	25 分钟	14 分钟
Chainer	27 分钟	7 分钟
MXNet(Gluon)	28 分钟	8 分钟

注释：

1. 与其他所有框架相比，当从单 GPU 转向多 GPU 时，Chainer 的 AUC 值出现了下降。 该模型的输入为 112,120 张胸片图像，经过重排后尺寸为 (264, 264)。请注意，为了使笔记本自动下载数据，您需要先安装 Azcopy，并在 Azure 门户中扩大您的操作系统磁盘容量，以确保至少有 45GB 的可用空间（胸片图像数据本身体积较大！）。这些笔记本首次下载数据可能需要超过 10 分钟。 本笔记本采用 DenseNet-121 模型进行训练，并使用原生的数据加载器对数据进行预处理，同时执行一些增强操作（随机水平翻转以及随机裁剪至 224 像素）。

3. 1000张图片的平均耗时：ResNet-50 - 特征提取

DL 库	K80/CUDA 8/CuDNN 6	P100/CUDA 8/CuDNN 6
Caffe2	14.1	7.9
Chainer	9.3	2.7
CNTK	8.5	1.6
MXNet(Gluon)		1.7
Keras(CNTK)	21.7	5.9
Keras(TF)	10.2	2.9
Tensorflow	6.5	1.8
MXNet(Module API)	7.7	1.6
PyTorch	7.7	1.9
Julia - Knet	6.3	???
R - MXNet	???	???
R - Keras(TF)	17	7.4

预训练的 ResNet50 模型被加载，并在末尾的平均池化操作之后进行裁剪（7, 7），该操作会输出一个维度为 2048 的向量。此向量可以输入到 softmax 层，或进一步用于其他分类器，例如提升树模型，以实现迁移学习。由于采用了暖启动机制，这一仅向前传递至平均池化层的前向传播过程会被计时。注意：批量大小保持不变，不过在 GPU 上充分填充内存将带来更显著的性能提升（对于拥有更多内存的 GPU 来说，这种提升更为明显）。

4. 训练时间：IMDB 上的 RNN（GRU）——情感分析

DL 库	K80/CUDA 8/CuDNN 6	P100/CUDA 8/CuDNN 6	是否使用 CuDNN？
CNTK	32	15	是
Keras(CNTK)	86	53	否
Keras(TF)	35	26	是
MXNet(Module API)	29	24	是
MXNet(Gluon API)	TBA	TBA	是
PyTorch	31	16	是
Tensorflow	30	22	是
Julia - Knet	29	??	是
R - MXNet	??	??	???
R - Keras(TF)	35	25	是

该模型的输入数据来自标准的 IMDB 电影评论数据集，其中包含 2.5 万条训练评论和 2.5 万条测试评论，且这两类评论被均匀地划分为 2 个类别（正面/负面）。处理流程遵循 Keras 的方法：起始字符被设置为 1，而词汇表中超出范围的词汇（词汇表大小为 3 万）则被表示为 2，因此词索引从 3 开始。每条评论均被零填充或截断，使其长度固定为 150 个单词。

在可能的情况下，我们尽量采用经过 CuDNN 优化的 RNN（通过 CUDNN=True 参数加以标识），因为我们原本使用的是标准的 RNN，而该 RNN 可以轻松升级至 CuDNN 级别。例如，在 CNTK 中，我们选择使用优化过的 RNNStack，而非 Recurrence(LSTM())。这种方式速度更快，但灵活性稍低；此外，以 CNTK 为例，我们已无法再使用诸如层归一化等更为复杂的变体。在 PyTorch 中，这一功能默认已启用。至于 MXNet，我未能找到相关支持，因此转而选择了速度略慢的融合 RNN。Keras 刚刚在最近才获得了 Cudnn 支持，不过仅限于 Tensorflow 后端（而非 CNTK）。TensorFlow 拥有多种 RNN 变体（包括其自定义的内核），并且有一项优秀的基准测试 此处。我将尝试更新示例，改用 CudnnLSTM 替代当前的方法。

注意：CNTK 支持 动态轴，这意味着我们无需将输入填充至 150 个单词，可以直接按原样使用；然而，由于我未能在其他框架中找到实现这一功能的方式，最终还是选择了填充——这在一定程度上对 CNTK 不公平，也未能充分展现其真正的潜力。

分类模型会生成一个大小为 (150x125) 的嵌入矩阵，随后应用 100 个门控循环单元，并将最终输出作为结果（而非输出序列，亦非隐藏状态）。欢迎提出任何关于此模型的改进建议。

经验教训

CNN

以下内容基于我们尝试在不同框架间实现测试精度匹配，并结合所有在 GitHub 上提出的 issue/PR，总结出的一些见解。

1. 除 Keras 外，上述示例为了便于对比，均采用了相同的 API 级别，因此都使用了相同的生成器函数。对于 MXNet、Tensorflow 和 CNTK，我们曾尝试过更高层次的 API，即借助框架自身的训练生成器函数。然而，在这个例子中，由于整个数据集都被加载为 NumPy 数组并存储于内存中，且每轮训练仅进行一次随机打乱操作，因此性能提升微乎其微。我怀疑，框架的生成器实际上是以异步方式完成随机打乱的。有趣的是，这些框架似乎是在批次级别上进行打乱，而非以观测值为单位，因此至少在经过 10 轮训练后，测试精度略有下降。若在实际应用中存在 I/O 操作，甚至需要实时进行预处理和数据增强，那么自定义生成器将对性能产生更为显著的影响。

2. 在运行 CuDNN 时，我们应优先选择 [NCHW] 格式，而非通道末尾格式。Keras 最终也支持在 Tensorflow 中采用这种格式（此前 Tensorflow 一直硬编码使用 NHWC 格式，并会在每批数据后自动进行重塑）。

3. 多月前，启用 CuDNN 的自动调优/全面搜索参数（该参数可为固定尺寸的图像选择最高效的 CNN 算法）曾为 K80 提供了巨大的性能提升。不过如今，大多数框架已自动集成了这一功能。

4. 部分框架要求在 dropout 层中提供一个布尔值，用于指示当前是训练模式还是测试模式（这一设置对测试精度产生了巨大影响，从 72% 降至 77%）。在这种情况下，不应在测试阶段应用 dropout。

5. TF_ENABLE_WINOGRAD_NONFUSED 已不再能加速 TensorFlow 的 CNN，反而可能导致其性能下降。

6. 在大多数模型中，Softmax 通常与 cross_entropy_loss() 一同使用；如果您的最终全连接层需要激活函数，不妨检查一下是否有必要启用它，以节省两次应用激活函数的时间。

7. 不同框架对卷积核初始化器的设置可能存在差异（我发现这会对精度产生正负 1% 的影响），因此我尽量在可能的情况下使用 Xavier 或 Glorot 均匀分布的初始化方法，同时避免过于冗长的代码。

8. 对于 SGD-momentum，各框架所采用的动量类型可能有所不同；我不得不关闭 unit_gain（该参数在 CNTK 中默认开启），以与其它框架的实现保持一致。

9. Caffe2 在网络的第一层引入了一项额外优化（no_gradient_to_input=1），通过不为输入计算梯度，从而实现了轻微的性能提升。当然，TensorFlow 和 MXNet 可能早已默认启用了这一优化。在研究领域，以及在像 DeepDream 这样的网络中，计算该梯度可能大有裨益。

10. 在最大池化之后应用 ReLU 激活函数（而非在池化之前），意味着您在维度降维之后再进行计算，从而节省了几秒钟的时间。这一优化帮助 MXNet 将运行时间缩短了 3 秒。

11. 还有一些进一步的检查，或许对您有所帮助：

• 将卷积核指定为 (3) 是否会变成对称的元组 (3, 3)，或者变为一维卷积 (3, 1)？
• 最大池化操作的步长默认为 (1, 1)，还是与卷积核大小相同？（Keras 是这样设置的）
• 默认填充通常为 (0, 0)/valid，但建议仔细检查是否为“same”填充
• 卷积层的默认激活函数是 “None” 还是 “ReLU”（Lasagne）
• 偏置初始化器可能有所不同（有时并不包含偏置）
• 各框架在梯度裁剪和处理无穷大/NaN 值方面可能存在差异
• 部分框架支持稀疏标签，而非独热编码标签（如果可用，我通常会使用稀疏标签；例如，TensorFlow 提供了 f.nn.sparse_softmax_cross_entropy_with_logits 方法）
• 数据类型假设也可能有所不同——我通常会将 X 和 y 使用 float32 和 int32 类型，但例如，torch 需要使用 double 类型来将 y 转换为 torch.LongTensor(y).cuda
• 如果框架提供了更底层的 API，请务必在测试过程中避免通过设置 training=False 来计算梯度。

12. 安装 Caffe2 以支持 Python 3.5 一度颇具挑战性，因此我想分享一下安装过程：

# 以 root 用户身份构建
sudo -s
cd /opt/caffe2
make clean
git pull
git checkout v0.8.1
git submodule update
export CPLUS_INCLUDE_PATH=/anaconda/envs/py35/include/python3.5m
mkdir build
cd build
echo $PATH
# 确认 Anaconda 不在路径中
cmake .. -DBLAS=MKL -DPYTHON_INCLUDE_DIR=/anaconda/envs/py35/include/python3.5m -DPYTHON_LIBRARY=/anaconda/envs/py35/lib/libpython3.5m.so -DPYTHON_EXECUTABLE=/anaconda/envs/py35/bin/python
make -j$(nproc)
make install

13. 在使用 MXNet 时，应避免在训练循环中将输出或数据赋值给 NumPy 的 np.array。这样做会导致数据从 GPU 复制到 CPU。相反，应使用 mx.nd.array，并在开始时在合适的上下文中进行分配。这一做法能够大幅提高性能。

14. 在使用 MXNet 时，运算会被分配到后端引擎的队列中并进行并行化处理，因此请尽量避免在训练循环中执行任何阻塞操作。您可以添加 nd.waitall()，该函数将在每个 epoch 结束时强制等待所有运算完成，从而避免内存耗尽。

15. 使用 MXNet/Gluon 时，对网络调用 .hybridize() 会缓存计算图，从而带来性能提升。不过，这也意味着您将无法再逐个步骤地跟踪每一步的计算过程。只有在完成网络调试后，才应使用此功能。

RNN

1. 大多数框架都提供了多种 RNN 实现与内核（例如 Tensorflow）；当我们将 RNN 实现简化至 cudnnLSTM/GRU 级别时，其执行速度最快。不过，这一实现的灵活性相对较低（例如，您可能希望对某一层进行层归一化），并且在后续阶段若在 CPU 上进行推理时，可能会遇到问题。而在 cudDNN 级别，大多数框架的运行时表现非常相似。Nvidia 的一篇博客文章（This）详细介绍了针对递归神经网络的多项高效 cuDNN 优化措施，例如通过“融合计算多个小矩阵为一个大矩阵，并在可能的情况下实现计算流水线，从而提高计算与内存 I/O 的比值，进而提升 GPU 上的性能”。

2. 似乎 RNN 最快的数据形状是 TNC——但在 MXNet 中实现这一形状仅提升了 0.5 秒，因此我选择了稍慢一些的形状，以与其它框架保持一致，并使代码更加简洁。

DeepLearningFrameworks 快速上手指南

环境准备

• 系统：Ubuntu 16.04+ / CentOS 7+（Windows 亦可，但 GPU 驱动需自行配置）
• GPU：NVIDIA 显卡，驱动 ≥ 384，CUDA ≥ 8.0，cuDNN ≥ 6
• Python：3.6–3.9（推荐 3.8）
• 内存：≥ 8 GB（ChestXRay 任务需 ≥ 45 GB 磁盘）
• 工具：git、conda 或 pip、nvidia-docker（可选）

安装步骤

1. 克隆仓库

   git clone https://github.com/ilkarman/DeepLearningFrameworks.git
   cd DeepLearningFrameworks
   

2. 创建并激活环境（任选其一）

   • conda

     conda env create -f environment.yml
     conda activate dl-frameworks
     

   • pip（国内镜像示例）

     python -m venv venv
     source venv/bin/activate
     pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt
     

3. 安装 GPU 加速（按需）

   # CUDA 11.8 + cuDNN 8 示例
   conda install cudatoolkit=11.8 -c nvidia
   

4. 下载 ChestXRay 数据（可选）
   先安装 azcopy：

   wget -O azcopy.tar.gz https://aka.ms/downloadazcopy-v10-linux
   tar -xf azcopy.tar.gz --strip-components=1
   sudo mv azcopy /usr/local/bin/
   

   运行对应 notebook 时会自动拉取数据。

基本使用

1. 启动 Jupyter

   jupyter notebook
   

   浏览器打开 http://localhost:8888，选择任意框架的 notebook 即可。

2. 最简示例：PyTorch CNN 训练
   打开 notebooks/PyTorch_CNN.ipynb，按顺序执行 cell：

   import utils
   import torch
   from common.params import *
   from common.utils import *
   
   # 加载 CIFAR-10
   train_loader, test_loader = utils.get_data_loaders(batch_size)
   
   # 构建网络
   model = utils.create_model(num_classes=10).cuda()
   
   # 训练
   utils.train(model, train_loader, test_loader, epochs=10)
   

3. 验证安装性能
   运行 notebooks/Tensorflow_CNN.ipynb 或 notebooks/CNTK_CNN.ipynb，对比 README 中的训练时间，确认 GPU 正常启用。

提示：国内网络可设置 export HF_ENDPOINT=https://hf-mirror.com 加速 Hugging Face 资源下载。