深度学习工具包评估

警告：本研究于2015年末完成，并在2016年初略有修改。自那时以来，许多工具包已显著改进。

摘要。在本研究中，我评估了一些流行的深度学习工具包。候选工具包按字母顺序排列如下：Caffe、CNTK、TensorFlow、Theano 和 Torch。

我还提供了一些领域的评分，因为对许多人来说，评分很有用。然而，请记住，评分本质上是主观的 [1]。

如果您发现任何错误或不足之处，请通过提交问题来帮助改进。

目录

1. 建模能力
   • 接口
   • 模型部署
   • 性能
   • 架构
   • 生态系统
   • 跨平台

---

建模能力

在这一部分，我们评估每个工具包在无需编写过多代码的情况下训练常见及最先进网络的能力。其中一些网络包括：

• 卷积神经网络：AlexNet、OxfordNet、GoogleNet
• 循环神经网络：普通RNN、LSTM/GRU、双向RNN
• 带注意力机制的序列建模。

此外，我们还评估了创建新型模型的灵活性。

Caffe

Caffe或许是第一个主流的工业级深度学习工具包，始于2013年末，这得益于其当时出色的卷积神经网络实现。它至今仍是计算机视觉社区中最受欢迎的工具包，且不断有新的扩展被积极添加。

然而，由于其遗留架构的限制，Caffe对循环神经网络和语言建模的支持较差，具体限制将在架构部分中详细说明。

CNTK

CNTK是由语音领域的人士发起的一个深度学习系统，他们曾掀起深度学习热潮，后来发展成为一个更通用、跨平台的深度学习系统。CNTK在语音社区中比在广义的深度学习社区中更为知名。

在CNTK（以及TensorFlow和Theano）中，网络被定义为向量运算的符号图，例如矩阵加法、乘法或卷积。层只是这些运算的组合。构建块（运算）的细粒度使得用户无需使用低级语言实现即可发明新的复杂层类型（如Caffe那样）。

TensorFlow

最先进模型

• RNN API及其实现并不理想。团队也在这里和这里对此进行了评论。
• 双向RNN尚未可用
• 缺乏3D卷积，而3D卷积对于视频识别非常有用。

新模型 由于TF采用向量运算的符号图方法，指定一个新的网络相当容易。尽管它目前还不支持符号循环（至少截至2016年5月尚未经过充分测试或文档化），但可以使用分桶技巧轻松高效地构建RNN。

然而，TF在建模灵活性方面存在重大缺陷。所有的计算流程都必须以静态图的形式构建。这使得一些计算变得困难，例如束搜索（常用于序列预测任务）。

Theano

最先进模型。 Theano实现了大多数最先进的网络，无论是通过高级框架（例如Blocks、Keras等）还是纯Theano实现。

新模型。 Theano率先提出了使用符号图来编程网络的趋势。Theano的符号API支持循环控制，即所谓的scan，这使得实现RNN既简单又高效。用户不必总是从张量运算层面定义新模型。上述提到的一些高级框架使模型定义和训练更加简便。

Torch

最先进模型

• 非常适合卷积网络。值得注意的是，在TensorFlow/Theano中可以通过conv2d实现时间卷积，但这只是一种技巧。而Torch原生的时间卷积接口使其使用起来更为直观。
• 通过一个非官方扩展提供了丰富的RNN集合 [2]

新模型。 在Torch中，定义网络的方式有多种（层的堆叠或层的图），但本质上，网络是作为层的图来定义的。由于这种较粗的粒度，Torch有时被认为灵活性较低，因为对于新型层，用户需要实现完整的前向、反向传播以及梯度更新。

然而，与Caffe不同，Torch定义新层要容易得多，因为你不需要用C++编程。此外，在Torch中，新层定义与网络定义之间的差异很小。而在Caffe中，层是用C++定义的，而网络则是通过Protobuf定义的。

Torch比TensorFlow和Theano更具灵活性，因为它采用命令式编程，而TF/Theano则采用声明式编程（即需要声明计算图）。这使得一些操作，例如束搜索，在Torch中更容易实现。

---

左：CNTK/Theano/TensorFlow的图模型；右：Caffe/Torch的图模型

接口

Caffe

Caffe 提供了 pycaffe 接口，但那只是命令行接口的次要替代方案。即使使用 pycaffe，模型仍然必须用 Protocol Buffers 定义（通常通过纯文本编辑器）。

CNTK

与 Caffe 类似，使用 CNTK 的方式是通过指定配置文件并运行命令行。CNTK 自 2.0 版本起支持 Python，而 C# 支持仍在开发中。

TensorFlow

TF 支持两种接口：Python 和 C++。这意味着你可以在丰富的高级环境中进行实验，同时也可以在需要原生代码或低延迟的环境中部署模型。

如果 TF 能够支持 F# 或 TypeScript 就更完美了。Python 缺乏静态类型检查确实让人感到非常痛苦 :).

Theano

Python

Torch

Torch 运行在 LuaJIT 上，速度惊人（可与 C++/C#/Java 等工业级语言媲美）。因此，开发者无需考虑可能受限的符号化编程，可以直接编写各种计算，而不必担心性能损失。

然而，不得不承认，Lua 目前还不是主流语言。

模型部署

部署新模型有多容易？

Caffe

Caffe 基于 C++，可以在多种设备上编译。它具有跨平台特性（Windows 移植版可用，并由 这里 维护）。这使得 Caffe 在部署方面成为最佳选择。

CNTK

与 Caffe 类似，CNTK 也基于 C++ 并且是跨平台的。因此，在大多数情况下部署应该比较容易。不过据我所知，它无法在 ARM 架构上运行，这限制了其在移动设备上的应用能力。

TensorFlow

TF 支持 C++ 接口，并且由于使用了 Eigen，该库可以在 ARM 架构上编译和优化（而不是依赖 BLAS 库）。这意味着你可以在各种设备上部署训练好的模型（无论是服务器还是移动设备），而无需实现单独的模型解码器或加载 Python/LuaJIT 解释器 [3]。

不过，TF 目前尚不支持 Windows，因此无法在 Windows 设备上部署 TF 模型。

Theano

缺乏底层接口以及 Python 解释器的效率问题，使得 Theano 对工业用户吸引力不足。对于大型模型来说，Python 的开销不算太大，但这种局限性依然存在。

Theano 具有跨平台特性（如下所述），因此可以在 Windows 环境中部署。这为其赢得了一些加分。

Torch

Torch 需要 LuaJIT 才能运行模型。这使其相比 Caffe/CNTK/TF 等直接支持 C++ 的框架吸引力较低。问题不仅在于性能开销——虽然很小——更大的挑战在于如何在 API 层面与更大的生产流水线集成。

性能

单 GPU

这些工具包都调用了 cuDNN，因此只要在外层没有大规模的计算或内存分配，它们的性能应该相差不大。

Soumith@FB 曾对卷积神经网络进行过一些 基准测试。深度学习不仅仅是前馈卷积网络、ImageNet 数据集，更不是仅仅对网络进行几次迭代那么简单。然而，截至目前，Soumith 的基准测试仍是唯一值得注意的。因此，我们将根据他的基准测试来评估单 GPU 的性能评分。

TensorFlow 和 Torch

TensorFlow 刚推出时速度较慢，但截至 2016 年 5 月，其卷积神经网络的速度已与其他框架相当。这并不令人意外，因为如今每个框架的实际计算都依赖于 cuDNN。

以下是我在最新版本 TensorFlow 0.8 上进行的微基准测试结果。测量的是在单块 Titan X GPU 上，一个完整的小批量前向-反向传播的延迟，单位为毫秒。

网络	TF 0.6 [ref]	TF 0.8 [我的测试]	Torch FP32 [我的测试]
AlexNet	292	97	81
Inception v1	1237	518	470

Theano

根据 这份基准测试，在大型网络上，Theano 的性能与 Torch7 不相上下。Theano 的主要问题在于启动时间极长，因为它需要将 C/CUDA 代码编译成二进制文件。我们并非总是训练大型模型，事实上，深度学习研究人员往往花更多的时间调试，而非训练大型模型。而 TensorFlow 则不存在这个问题，它只需将符号化的张量操作映射到已经编译好的相应函数调用即可。

甚至仅仅是 import theano 也需要时间，因为这个导入似乎做了很多工作。此外，导入 Theano 后，你只能使用预设的设备（例如 GPU0）。

多 GPU

待定

架构

开发者专区

Caffe

Caffe的架构在刚诞生时被认为非常优秀，但按照现代标准来看，它只能算作中等水平。Caffe的主要痛点在于其基于C++的层式设计，以及使用Protocol Buffers接口来定义模型。

层式设计。 Caffe中网络的基本构建模块是“层”。

• 对于新的层类型，你需要完整地实现前向传播、反向传播和梯度更新逻辑。你可以在官方Caffe已实现的大量层列表中看到这些内容。
• 更糟糕的是，如果你希望同时支持CPU和GPU，还需要额外实现一些函数，例如Forward_gpu和Backward_gpu。
• 甚至更麻烦的是，你必须为自己的层类型分配一个整数ID，并将其添加到proto文件中。如果你的Pull Request没有及时被合并，你可能还需要更改这个ID，因为其他人可能已经占用了它。

Protocol Buffers。 Caffe提供了pycaffe接口，但这只是命令行接口的一种替代方式。即使使用pycaffe，模型仍然必须用Protocol Buffers格式定义（通常通过纯文本编辑器完成）。

[摘自我在Quora上的回答：TensorFlow与Caffe的架构有何不同？]

CNTK

待更新……

TensorFlow

TF拥有清晰、模块化的架构，支持多种前端和执行平台。具体细节可见其白皮书。

Theano

Theano的架构相对较为“hacky”：整个代码库都是用Python编写的，而C/CUDA代码则被打包成Python字符串的形式。这使得代码难以导航、调试和重构，也因此对开发者来说贡献起来较为困难。

Torch

Torch7及其nn库同样设计良好，具有清晰、模块化的接口。

生态系统

• Caffe和CNTK：主要使用C++
• TensorFlow：同时支持Python和C++
• Theano：主要使用Python
• Torch：Lua并非主流语言，因此基于Lua构建的库数量远不及Python生态中的丰富程度。

跨平台支持

Caffe、CNTK、TensorFlow和Theano均能在所有操作系统上运行。而Torch目前无法在Windows上运行，且双方阵营中也暂无移植计划。

___

脚注

[1] 需要注意的是，我并未对评分进行简单平均，因为不同的用户或开发者往往有不同的优先级。

[2] 免责声明：我对这一扩展尚未进行深入分析。

[3] 关于为何这一点值得提倡，请参阅我的博客文章。

deepframeworks 快速上手指南

重要提示：本项目（deepframeworks）并非一个可安装的深度学习框架，而是一份2015 年底至 2016 年初发布的深度学习工具包评估研究报告。它对比了 Caffe、CNTK、TensorFlow、Theano 和 Torch 等主流框架的特性。

由于内容较为陈旧，许多被评估的框架（如 TensorFlow、PyTorch 等）已发生巨大变化。本文档旨在帮助您快速浏览该评估报告的核心内容，而非指导您安装一个名为"deepframeworks"的软件。

环境准备

由于本项目本质上是 Markdown 格式的文档报告，无需安装任何深度学习依赖或 GPU 驱动即可阅读。

• 系统要求：任意操作系统（Windows, macOS, Linux）。
• 前置依赖：
  • Git（用于克隆仓库）
  • 任意 Markdown 阅读器（或直接使用 GitHub 网页版查看）

获取与查看步骤

您可以通过克隆仓库在本地查看这份评估报告。

1. 克隆仓库

   git clone https://github.com/kyegupta/deepframeworks.git
   

   (注：如果原仓库地址不可用，请在 GitHub 上搜索 deepframeworks 查找对应的存档仓库)

2. 进入目录

   cd deepframeworks
   

3. 查看报告

   • 推荐方式：直接在 GitHub 网页端打开 README.md 文件阅读，格式最完整。
   • 本地方式：使用 VS Code、Typora 或任何支持 Markdown 的编辑器打开 README.md。

核心内容速览

该报告从以下几个维度对当时的五大框架进行了评分（满分 5 星）：

1. 建模能力 (Modeling Capability)

评估在不编写大量代码的情况下训练主流网络（如 ConvNets, RNNs, LSTM）的能力。

• Torch (5⭐): 最灵活，支持命令式编程，易于实现新层和复杂操作（如 Beam Search）。
• TensorFlow / Theano (4.5⭐): 基于符号图，拥有丰富的高层框架支持（如 Keras），但在当时对循环神经网络（RNN）的支持略显不足。
• Caffe (3⭐): 卷积网络（ConvNets）表现优异，但受限于架构，对递归网络和语言建模支持较差。
• CNTK (2.5⭐): 起源于语音领域，基于符号图，当时在通用社区知名度较低。

2. 接口友好度 (Interfaces)

• TensorFlow: 支持 Python 和 C++，适合实验与部署分离，但当时缺乏静态类型支持。
• Torch: 基于 LuaJIT，性能极高且无需符号编程思维，但 Lua 语言非主流。
• Theano: 纯 Python 接口。
• Caffe / CNTK: 主要依赖配置文件和命令行，Python 接口在当时仅为辅助或刚起步。

3. 模型部署 (Model Deployment)

• Caffe (5⭐): 基于 C++，跨平台支持最好，是当时部署的首选。
• TensorFlow / CNTK (4.5⭐): 支持 C++ 接口，TF 可利用 Eigen 库在 ARM 架构（移动端）运行；CNTK 当时不支持 ARM。
• Theano / Torch (3⭐): 分别依赖 Python 解释器和 LuaJIT，在生产环境集成和性能开销上不如纯 C++ 方案友好。

4. 性能 (Performance)

• 在单 GPU 环境下，由于各框架底层均调用 cuDNN，卷积网络的性能差异不大。
• TensorFlow 在早期版本较慢，但在 2016 年 5 月左右已优化至与其他框架持平。

---

本指南仅基于原文档内容整理。对于现代深度学习开发，建议参考 PyTorch 或最新版 TensorFlow 的官方文档。