Flink 上的深度学习

Flink 上的深度学习旨在将 Flink 与深度学习框架（例如 TensorFlow、PyTorch 等）集成，从而在 Flink 集群上实现分布式深度学习训练和推理。

它将深度学习任务运行在 Flink 的算子内部，以便 Flink 能够帮助建立分布式环境、管理资源、通过 Flink 中丰富的连接器读写数据，并处理故障。

目前，Flink 上的深度学习支持 TensorFlow。

支持的操作系统

Flink 上的深度学习已在以下 64 位系统上经过测试并得到支持：

• Ubuntu 18.04
• macOS 10.15

支持的框架版本

• TensorFlow：1.15.x 和 2.4.x
• PyTorch：1.11.x
• Flink：1.14.x

快速入门

Flink 上的深度学习目前支持 TensorFlow 和 PyTorch。您可以通过以下页面了解使用方法和示例：

• 使用 TensorFlow 的 Flink 深度学习
• 使用 PyTorch 的 Flink 深度学习

从源码构建

要求

• Python：3.7
• CMake ≥ 3.6
• Java 1.8
• Maven ≥ 3.3.0

Flink 上的深度学习需要 Java 和 Python 协同工作。因此，我们需要同时为 Java 和 Python 进行构建。

从源码构建 Flink 上的深度学习之前初始化子模块

请在从源码构建之前使用以下命令初始化子模块：

git submodule update --init --recursive

构建 Java

mvn -DskipTests clean install

构建完成后，您可以在 dl-on-flink-dist/target 文件夹中找到目标分发包。

构建 Python

从源码安装

您可以运行以下命令从源码安装 Python 包：

# 先安装 dl-on-flink-framework
pip install dl-on-flink-framework/python

# 注意，您只需安装以下其中之一，因为它们需要不同版本的 TensorFlow：
# 对于 TensorFlow 1.15.x
pip install dl-on-flink-tensorflow/python
# 对于 TensorFlow 2.4.x
pip install dl-on-flink-tensorflow-2.x/python

构建 wheel 包

我们提供了一个脚本用于构建 Python 包的 wheel 文件，您可以运行以下命令：

bash tools/build_wheel.sh

构建完成后，您可以在 tools/dist 目录下找到 wheel 文件，然后使用这些 wheel 文件安装 Python 包：

pip install tools/dist/<wheel>

更多信息

设计文档

许可证

Apache License 2.0

dl-on-flink 快速上手指南

dl-on-flink 旨在将 Flink 与深度学习框架（如 TensorFlow、PyTorch）集成，实现在 Flink 集群上进行分布式深度学习训练和推理。它通过在 Flink 算子内部运行深度学习任务，利用 Flink 管理资源、处理数据读写及容错。

环境准备

系统要求

本项目已在以下 64 位系统上测试并支持：

• Ubuntu 18.04
• macOS 10.15

前置依赖

在开始之前，请确保安装以下软件：

• Python: 3.7
• CMake: >= 3.6
• Java: 1.8
• Maven: >= 3.3.0

版本兼容性

请根据您的深度学习框架选择对应的版本：

• Flink: 1.14.x
• TensorFlow: 1.15.x 或 2.4.x
• PyTorch: 1.11.x

安装步骤

1. 获取源码并初始化子模块

首先克隆项目代码，并务必初始化子模块（包含必要的底层依赖）：

git clone <repository-url>
cd dl-on-flink
git submodule update --init --recursive

2. 构建 Java 部分

使用 Maven 构建 Java 核心组件：

mvn -DskipTests clean install

构建完成后，分发包位于 dl-on-flink-dist/target 目录。

3. 安装 Python 包

您可以根据需求选择直接从源码安装或构建 Wheel 包安装。

方式一：直接从源码安装

注意：需根据您使用的 TensorFlow 版本选择对应的包，切勿同时安装。

# 第一步：安装基础框架包
pip install dl-on-flink-framework/python

# 第二步：根据 TensorFlow 版本选择其一安装
# 适用于 TensorFlow 1.15.x
pip install dl-on-flink-tensorflow/python

# 或者，适用于 TensorFlow 2.4.x
pip install dl-on-flink-tensorflow-2.x/python

(提示：国内用户可添加 -i https://pypi.tuna.tsinghua.edu.cn/simple 参数加速 pip 安装)

方式二：构建 Wheel 包后安装

如果您需要离线安装或自定义构建：

# 构建 Wheel 包
bash tools/build_wheel.sh

# 安装生成的 Wheel 包 (路径可能在 tools/dist 下)
pip install tools/dist/<wheel文件名>

基本使用

dl-on-flink 支持 TensorFlow 和 PyTorch 两种主流框架。由于具体代码示例涉及较多的上下文配置，官方提供了详细的文档和示例代码供参考。

快速入口

根据您的技术栈，查阅以下官方文档以获取最简单的 "Hello World" 示例：

• TensorFlow 用户: DL on Flink with Tensorflow 使用指南
• PyTorch 用户: DL on Flink with PyTorch 使用指南

核心概念

在使用时，您主要需要关注如何将深度学习模型封装为 Flink 算子。基本流程如下：

1. 定义数据源（利用 Flink Connectors）。
2. 加载预训练的深度学习模型。
3. 调用 dl-on-flink 提供的 API 创建训练或推理算子。
4. 提交作业到 Flink 集群执行。

更多架构设计细节可参考：设计文档