SQLFlow

什么是SQLFlow

SQLFlow是一个编译器，它可以将SQL程序编译成一个在Kubernetes上运行的工作流。输入是我们扩展的SQL语法编写的SQL程序，以支持包括训练、预测、模型评估、模型解释、自定义任务以及数学规划在内的AI作业。输出是在分布式Kubernetes集群上运行的Argo工作流。

SQLFlow支持多种数据库系统，如MySQL、MariaDB、TiDB、Hive、MaxCompute，以及许多机器学习工具包，如TensorFlow、Keras、XGBoost。

现在就到我们的游乐场 https://playground.sqlflow.tech/ 体验SQLFlow吧，并查看其中的实用教程。

动机

目前开发基于机器学习的应用需要数据工程师、数据科学家、业务分析师等多方面的团队成员，同时还需要掌握Python、SQL、SAS、SASS、Julia、R等多种高级语言和编程工具。这种工具和开发环境的碎片化给模型训练和调优带来了额外的复杂性。如果我们能将最广泛使用的数据管理/处理语言SQL与机器学习及系统能力相结合，让具备SQL技能的工程师也能开发先进的机器学习应用，会怎样呢？

业界已经有一些相关工作正在进行中。例如，我们可以使用诸如DOT_PRODUCT之类的操作符，在SQL中编写简单的机器学习预测（或评分）算法。然而，这需要将模型参数从训练程序复制粘贴到SQL语句中。在商业领域，我们也看到一些专有SQL引擎提供了扩展功能来支持机器学习能力。

• Microsoft SQL Server：Microsoft SQL Server拥有机器学习服务，可以将R或Python中的机器学习程序作为外部脚本运行。
• Teradata SQL for DL：Teradata也提供了一个RESTful服务，可以通过扩展的SQL SELECT语法进行调用。
• Google BigQuery：Google BigQuery通过引入CREATE MODEL语句，在SQL中实现了机器学习功能。

然而，现有的解决方案都没有真正解决我们的痛点——我们希望它能够完全可扩展。

1. 该解决方案应兼容多种SQL引擎，而不仅仅局限于某个特定版本或类型。
2. 它应该支持复杂的机器学习模型，包括用于深度学习的TensorFlow和用于树模型的XGBoost。
3. 我们还希望具有配置和运行前沿机器学习算法的灵活性，比如指定特征交叉)，至少不需要在SQL语句中嵌入Python或R代码，并且能够与超参数估计完全集成。

快速概览

以下示例展示了如何使用Iris.train样本数据训练一个TensorFlow的DNNClassifier模型，并使用训练好的模型进行预测。你可以看到用SQL编写优雅的机器学习代码是多么酷：

sqlflow> SELECT *
FROM iris.train
TO TRAIN DNNClassifier
WITH model.n_classes = 3, model.hidden_units = [10, 20]
COLUMN sepal_length, sepal_width, petal_length, petal_width
LABEL class
INTO sqlflow_models.my_dnn_model;

...
训练集准确率：0.96721
训练完成

sqlflow> SELECT *
FROM iris.test
TO PREDICT iris.predict.class
USING sqlflow_models.my_dnn_model;

...
预测完成。预测表：iris.predict

如何使用SQLFlow

• 快速入门
• 语言指南
• 交互式示例
  • Iris数据集上的DNN分类示例
  • 欺诈检测上的DNN分类示例
  • 使用XGBoost进行房价预测
  • 房价预测解释
  • 数学优化指南

贡献指南

• 构建与测试
• 项目概述

路线图

SQLFlow希望能够尽可能多地支持主流的机器学习框架和数据源，但我们认为仅靠我们自身很难实现这一目标，因此我们非常希望听到您当前正在使用的机器学习框架和数据源有哪些，并在此基础上继续发展。请参阅我们的路线图，了解具体的时间安排；同时，请告诉我们您目前使用SQLFlow的具体场景和兴趣，以便我们根据社区反馈优先推进相关工作。

反馈

您的反馈是我们不断前进的动力。如果您有任何问题、疑虑或意见，请通过提交GitHub Issues告知我们。

许可证

Apache许可证2.0

发表内容

• arXiv论文：https://arxiv.org/abs/2001.06846
• 演示视频
  1. 2020年1月19日：https://www.youtube.com/watch?v=qUjQn7ePbto
  2. 2019年10月4日：https://www.youtube.com/watch?v=zIkwOQ_davw
  3. 2019年4月1日：https://www.youtube.com/watch?v=zIkwOQ_davw

SQLFlow 快速上手指南

SQLFlow 是一个将扩展 SQL 语句编译为 Kubernetes 上运行工作流（基于 Argo）的编译器。它允许数据工程师使用熟悉的 SQL 语法直接进行机器学习模型的训练、预测、评估和解释，支持 TensorFlow、Keras、XGBoost 等主流框架以及 MySQL、Hive、MaxCompute 等多种数据源。

环境准备

在部署和使用 SQLFlow 之前，请确保满足以下系统要求和前置依赖：

• 操作系统: Linux 或 macOS (Windows 用户建议使用 WSL2 或 Docker Desktop)。
• 容器运行时: 必须安装 Docker (推荐版本 19.03+)。
• 容器编排: 需要 Kubernetes 集群环境。
  • 本地开发推荐使用 Minikube 或 Kind。
  • 生产环境可使用阿里云 ACK、腾讯云 TKE 等云厂商托管集群。
• 命令行工具:
  • kubectl: 用于与 Kubernetes 集群交互。
  • helm (可选): 用于通过 Helm Chart 部署 SQLFlow。
• 网络要求: 能够访问 Docker Hub 拉取镜像，或配置国内镜像加速器。

提示: 如果您想立即体验而无需配置本地环境，可以直接访问官方在线游乐场：https://playground.sqlflow.tech/

安装步骤

以下是基于 Minikube 和本地 Docker 环境的快速安装流程：

1. 启动 Kubernetes 集群

使用 Minikube 启动一个本地集群（需预先安装 Minikube）：

minikube start --memory=4096 --cpus=2

2. 部署 SQLFlow Server

SQLFlow 官方提供了 Helm Chart 进行一键部署。首先添加 Helm repo 并更新：

helm repo add sqlflow https://sql-machine-learning.github.io/helm-charts
helm repo update

安装 SQLFlow 到 sqlflow 命名空间：

helm install sqlflow sqlflow/sqlflow --namespace sqlflow --create-namespace

国内加速建议: 如果拉取 Helm Chart 或 Docker 镜像缓慢，建议配置国内镜像源。

• Helm Repo 替代源: https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts (需确认具体 chart 是否同步) 或使用本地离线包。
• Docker 镜像加速: 请在 /etc/docker/daemon.json 中配置阿里云或腾讯云镜像加速器，例如：

{
  "registry-mirrors": ["https://<your-id>.mirror.aliyuncs.com"]
}

配置后重启 Docker: sudo systemctl restart docker

3. 验证安装

等待 Pod 状态变为 Running：

kubectl get pods -n sqlflow

当看到 sqlflow-server 和 mysql (示例数据库) 的状态均为 Running 时，表示安装成功。

4. 连接 SQLFlow

您可以使用端口转发将服务暴露到本地，然后通过命令行客户端连接：

kubectl port-forward svc/sqlflow-server 50051:50051 -n sqlflow

在新终端中运行 SQLFlow 客户端（需安装 sqlflow 命令行工具或通过 Docker 运行）：

docker run -it --network host sqlflow/sqlflow-cli

进入交互界面后，提示符应显示为 sqlflow>。

基本使用

SQLFlow 的核心在于扩展了 SQL 语法，通过 TO TRAIN 和 TO PREDICT 子句调用机器学习能力。以下是最简单的鸢尾花（Iris）分类示例。

1. 训练模型

使用内置的 iris.train 表数据，训练一个 TensorFlow DNN 分类模型。

sqlflow> SELECT *
FROM iris.train
TO TRAIN DNNClassifier
WITH model.n_classes = 3, model.hidden_units = [10, 20]
COLUMN sepal_length, sepal_width, petal_length, petal_width
LABEL class
INTO sqlflow_models.my_dnn_model;

输出示例：

...
Training set accuracy: 0.96721
Done training

2. 执行预测

使用刚刚训练好的模型 sqlflow_models.my_dnn_model 对 iris.test 数据进行预测，并将结果写入 iris.predict 表。

sqlflow> SELECT *
FROM iris.test
TO PREDICT iris.predict.class
USING sqlflow_models.my_dnn_model;

输出示例：

...
Done predicting. Predict table : iris.predict

3. 查看结果

像操作普通数据库一样查询预测结果：

sqlflow> SELECT * FROM iris.predict LIMIT 5;

至此，您已完成从环境搭建到模型训练预测的全流程。更多高级用法（如特征交叉、模型解释、自定义作业等）请参考官方 Language Guide。