TensorFlowOnSpark

TensorFlowOnSpark 将可扩展的深度学习引入 Apache Hadoop 和 Apache Spark 集群。

通过将 TensorFlow 深度学习框架的突出特性与 Apache Spark 和 Apache Hadoop 相结合，TensorFlowOnSpark 能够在由 GPU 和 CPU 服务器组成的集群上实现分布式深度学习。

它支持在 Spark 集群上进行分布式 TensorFlow 训练和推理，旨在尽量减少将现有 TensorFlow 程序运行在共享计算资源上所需的代码修改量。其与 Spark 兼容的 API 可帮助按以下步骤管理 TensorFlow 集群：

1. 启动 - 在执行器上启动 TensorFlow 主函数，并设置用于接收数据和控制消息的监听器。
2. 数据摄取
   • InputMode.TENSORFLOW - 利用 TensorFlow 内置 API 直接从 HDFS 读取数据文件。
   • InputMode.SPARK - 通过 TFNode.DataFeed 类将 Spark RDD 数据发送到 TensorFlow 节点。请注意，我们利用 Hadoop 输入/输出格式 来访问 HDFS 上的 TFRecords。
3. 关闭 - 关闭执行器上的 TensorFlow 工作节点和参数服务器节点。

目录

• 背景
• 安装
• 使用
• API
• 贡献
• 许可证

基本信息

TensorFlowOnSpark 由雅虎开发，用于在雅虎私有云中的 Hadoop 集群上进行大规模分布式深度学习。

与替代性深度学习解决方案相比，TensorFlowOnSpark 具有一些重要优势（详见 我们的博客）：

• 可以仅通过不到 10 行代码的修改轻松迁移现有的 TensorFlow 程序。
• 支持所有 TensorFlow 功能：同步/异步训练、模型并行与数据并行、推理以及 TensorBoard。
• 在条件允许的情况下，服务器间直接通信能够实现更快的训练速度。
• 支持存储在 HDFS 上的数据集以及其他由 Spark 推送或由 TensorFlow 拉取的数据源。
• 可轻松集成到您现有的 Spark 数据处理流水线中。
• 可方便地部署在云端或本地环境中，并且适用于 CPU 或 GPU 硬件。

安装

TensorFlowOnSpark 以 pip 包的形式提供，可在单机上通过以下命令安装：

# 对于 tensorflow>=2.0.0
pip install tensorflowonspark

# 对于 tensorflow<2.0.0
pip install tensorflowonspark==1.4.4

对于分布式集群，请参阅我们的 wiki 站点 获取针对特定环境的详细文档，例如我们的入门指南，包括 单节点 Spark Standalone、YARN 集群 和 AWS EC2。请注意：由于 此问题，目前不支持 Windows 操作系统。

使用

要将 TensorFlowOnSpark 与现有的 TensorFlow 应用程序一起使用，您可以按照我们的 转换指南 描述所需更改。此外，我们的 wiki 站点 还提供了一些演示文稿的链接，这些文稿概述了该平台。

注意：由于 TensorFlow 2.x 与 TensorFlow 1.x 的 API 不兼容，示例已相应更新。如果您使用的是 TensorFlow 1.x，则需要检出 v1.4.4 标签以获取兼容的示例和说明。

API

API 文档 由代码自动生成。

贡献

请加入 TensorFlowOnSpark 用户组 以参与讨论和提问。如果您有任何疑问，请在发帖前先查看我们的 常见问题解答。

我们始终欢迎贡献。有关更多信息，请参阅我们的 参与指南。

许可证

本软件的使用和分发条款受 Apache 2.0 许可证约束。 有关条款，请参阅 LICENSE 文件。

TensorFlowOnSpark 快速上手指南

TensorFlowOnSpark 将可扩展的深度学习带入 Apache Hadoop 和 Apache Spark 集群，支持在 GPU 和 CPU 服务器集群上进行分布式 TensorFlow 训练和推理。

环境准备

系统要求

• 操作系统：Linux 或 macOS（不支持 Windows）
• 集群环境：Apache Spark standalone、YARN 集群或 AWS EC2
• 硬件：支持 CPU 或 GPU 服务器

前置依赖

• Python (建议 3.6+)
• Apache Spark (版本需与 TensorFlowOnSpark 兼容)
• Apache Hadoop (用于访问 HDFS 数据)
• TensorFlow
  • 若使用 TensorFlow >= 2.0.0，需安装最新版 TensorFlowOnSpark
  • 若使用 TensorFlow < 2.0.0，需安装 TensorFlowOnSpark 1.4.4

安装步骤

单机安装

通过 pip 安装（推荐使用国内镜像源加速）：

# 对于 TensorFlow >= 2.0.0
pip install tensorflowonspark -i https://pypi.tuna.tsinghua.edu.cn/simple

# 对于 TensorFlow < 2.0.0
pip install tensorflowonspark==1.4.4 -i https://pypi.tuna.tsinghua.edu.cn/simple

分布式集群部署

对于生产环境的分布式集群（如 YARN, Spark Standalone, AWS EC2），请参考官方 Wiki 获取特定环境的详细配置指南：

• Spark Standalone 单机入门
• YARN 集群入门
• AWS EC2 入门

基本使用

要将现有的 TensorFlow 应用程序迁移到 TensorFlowOnSpark，通常只需修改少于 10 行代码。主要流程包括启动集群、数据摄入和关闭节点。

核心概念

TensorFlowOnSpark 提供两种数据摄入模式：

1. InputMode.TENSORFLOW: 利用 TensorFlow 内置 API 直接从 HDFS 读取数据文件。
2. InputMode.SPARK: 通过 TFNode.DataFeed 类将 Spark RDD 数据发送给 TensorFlow 节点。

简单示例逻辑

以下是一个典型的集成逻辑概述（具体代码实现请参考 转换指南）：

1. 初始化 SparkSession 并导入 TFSparkNode。
2. 定义映射函数，在该函数中启动 TensorFlow 的主程序（tf_main）。
3. 启动集群：使用 TFCluster.run() 启动 Executor 上的 TensorFlow 主函数及监听器。
4. 执行训练：根据选择的数据模式（TENSORFLOW 或 SPARK）进行数据流处理。
5. 关闭集群：训练完成后调用 cluster.shutdown() 释放资源。

注意：由于 TensorFlow 2.x 与 1.x 存在 API 不兼容问题，如果您使用的是 TensorFlow 1.x，请检出 v1.4.4 标签以获取兼容的示例和说明。

更多详细的 API 文档请访问：TensorFlowOnSpark API Documentation