Sail

Sail 是由 LakeSail 创建的开源 统一且分布式的多模态计算框架。

我们的使命是 统一批处理、流处理以及计算密集型 AI 工作负载。Sail 是一款计算引擎，具有以下特点：

• 兼容 Spark Connect 协议，支持 Spark SQL 和 DataFrame API，无需重写代码。
• 在基准测试中比 Spark 快约 4 倍（在特定工作负载下可达 8 倍）。
• 基础设施成本低 94%。
• 100% Rust 原生，无 JVM 开销，提供内存安全、即时启动和可预测的性能。

🚀 Sail 在 ClickBench 上的表现优于 Spark、流行的 Spark 加速器、Databricks 和 Snowflake。

💬 加入我们的 Slack 社区，提问、分享反馈，并与其他 Sail 用户和贡献者交流。

文档

最新版本 Sail 的文档可以在这里找到：点击此处。

安装

快速入门

Sail 作为 Python 包已在 PyPI 上发布。您可以在 Python 环境中同时安装它和 PySpark。

pip install pysail
pip install "pyspark[connect]"

或者，自 Spark 4.0 起，您也可以安装轻量级客户端包 pyspark-client。与 pyspark[connect] 等效的 pyspark-connect 包同样自 Spark 4.0 起可用。

高级用法

您可以从源码安装 Sail，以针对您的特定硬件架构优化性能。详细的 安装指南 将逐步指导您完成此过程。

如果您需要在生产环境中部署 Sail，部署指南 提供了在 Kubernetes 集群及其他基础设施配置上部署 Sail 的全面说明。

入门

启动 Sail 服务器

选项 1：命令行界面。 您可以使用 sail 命令启动本地 Sail 服务器。

sail spark server --port 50051

选项 2：Python API。 您也可以使用 Python API 启动本地 Sail 服务器。

from pysail.spark import SparkConnectServer

server = SparkConnectServer(port=50051)
server.start(background=False)

选项 3：Kubernetes。 您可以将 Sail 部署到 Kubernetes 上，并以集群模式运行 Sail 进行分布式处理。 请参阅 Kubernetes 部署指南，了解如何构建 Docker 镜像和编写 Kubernetes 清单 YAML 文件。

kubectl apply -f sail.yaml
kubectl -n sail port-forward service/sail-spark-server 50051:50051

连接到 Sail 服务器

一旦 Sail 服务器运行起来，您就可以在 PySpark 中连接到它。 无需更改您的 PySpark 代码！

from pyspark.sql import SparkSession

spark = SparkSession.builder.remote("sc://localhost:50051").getOrCreate()
spark.sql("SELECT 1 + 1").show()

更多详细信息，请参阅 入门指南。

功能亮点

存储

Sail 支持多种存储后端，用于读取和写入数据。您可以在我们的 存储指南 中了解更多详情。

以下是支持的存储选项：

• AWS S3
• Cloudflare R2
• Azure
• Google Cloud Storage
• Hugging Face
• HDFS
• 文件系统
• HTTP/HTTPS
• 内存存储

Lakehouse 格式

Sail 原生支持现代 lakehouse 表格格式，提供可靠的数据存储层和强大的数据管理保障，同时确保与现有数据集的互操作性。

有关支持的格式，请参阅以下指南：

• Delta Lake 指南
• Apache Iceberg 指南

目录提供商

Sail 支持多种目录提供商，例如 Apache Iceberg REST 目录和 Unity 目录。您可以将数据集管理为外部表，并与更广泛的数据平台生态系统集成。 有关使用方法和最佳实践的更多信息，请参阅 目录指南。

基准测试结果

基于 TPC-H 的测试结果显示，Sail 在每项查询中均优于 Apache Spark：

• 执行时间：在各种 SQL 工作负载中快约 4 倍。
• 硬件成本：降低 94%，峰值内存占用显著减少，且无 shuffle spill。

指标	Spark	Sail
总查询时间	387.36 s	102.75 s
查询加速倍数	基线	43% – 727%
峰值内存占用	54 GB	22 GB (1 s)
磁盘写入（Shuffle Spill）	> 110 GB	0 GB

这些结果来自 AWS r8g.4xlarge 实例上的衍生 TPC-H 基准测试（22 个查询，比例因子 100，Parquet 格式）。

完整的分析和图表请参见我们的 基准测试结果页面。

为什么选择 Sail？

15 多年前，Spark 的诞生可谓革命性。它重新定义了分布式数据处理方式，并为各行各业的 ETL、机器学习和分析管道提供了动力。

然而，Spark 基于 JVM 的架构如今已难以满足现代对性能和云效率的需求：

• 垃圾回收暂停会导致延迟激增。
• 序列化开销会减缓 JVM 与 Python 之间的数据交换。
• 重型执行器会推高云成本并使扩展复杂化。
• 基于行的处理在分析型工作负载中表现不佳，无法充分利用硬件效率。
• 启动缓慢会延迟工作负载，影响交互式和按需使用场景。

Sail 通过现代化的 Rust 原生设计解决了这些问题。

Sail 与 Spark 兼容

Sail 提供了 Spark SQL 和 Spark DataFrame API 的直接替换方案。只需通过 Spark Connect 协议将您的 Spark 客户端会话连接到 Sail，现有的 PySpark 代码即可开箱即用。

• Spark SQL 方言支持。 自定义的 Rust 解析器（基于解析组合子和 Rust 过程宏构建）以生产级精度覆盖了 Spark SQL 语法。
• DataFrame API 支持。 Spark DataFrame 操作在 Sail 上运行时具有完全相同的语义。
• Python UDF、UDAF、UDWF 和 UDTF 支持。 Python、Pandas 和 Arrow UDF 均遵循与 Spark 相同的规范。

Sail 相较于 Spark 的优势

• 原生 Rust 引擎。 无垃圾回收停顿、无需 JVM 内存调优，且内存占用极低。
• 列式存储与向量化执行。 基于 Apache Arrow 和 Apache DataFusion 构建，列式内存格式结合 SIMD 指令，实现了极速查询执行。
• 超快的 Python UDF 执行。 Python 代码在 Sail 内部运行时零序列化开销，因为 Arrow 数组指针实现了零拷贝的数据共享。
• 高效的数据洗牌。 工作节点之间直接交换 Arrow 列式数据，从而最大限度地降低连接和聚合操作的洗牌成本。
• 轻量级、无状态的工作节点。 工作节点可在几秒钟内启动，空闲时仅消耗几 MB 内存，并可弹性扩展，以降低云成本并简化运维。
• 值得信赖的并发与内存安全。 Rust 的所有权模型可防止空指针、竞态条件及不安全的内存访问，从而提供无与伦比的可靠性。

想了解 Sail 如何与 Spark 竞争吗？请查看我们的 为什么选择 Sail？ 页面。准备好迁移现有工作负载了吗？我们的 迁移指南 将为您详细介绍具体步骤。

更多阅读

• 架构 – 介绍 Sail 在本地模式和集群模式下的设计，以及如何在这两种模式之间无缝切换。
• 查询计划 – 详细说明 Sail 如何解析 SQL 和 Spark 关系表达式，构建逻辑和物理计划，并处理本地与集群模式下的执行流程。
• SQL 和 DataFrame 功能 – Spark SQL 和 DataFrame API 兼容性的完整参考。
• LakeSail 博客 – Sail 发布信息、基准测试结果及技术洞察的最新动态。

✨ 正在使用 Sail 吗？分享您的故事，即可获得免费周边礼品！✨

Sail 快速上手指南

Sail 是一个由 LakeSail 开发的开源统一分布式多模态计算框架。它完全兼容 Spark Connect 协议，支持无需修改代码即可运行现有的 PySpark 应用，同时凭借 Rust 原生架构提供更快的执行速度、更低的内存占用和零 GC 停顿。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows (WSL2 推荐)。
• Python 版本：Python 3.8 及以上版本。
• 前置依赖：
  • pip (Python 包管理工具)
  • 建议安装 pyspark 相关依赖（Sail 安装过程会自动处理部分依赖，但显式安装可确保环境完整）。

注意：Sail 是 100% Rust 原生的，无需安装 JVM 或配置 Java 环境变量，从而避免了 JVM 的启动开销和调优复杂性。

安装步骤

Sail 以 Python 包的形式发布在 PyPI 上。您可以使用以下命令快速安装。

1. 安装 Sail 和 PySpark 连接组件

在终端中执行以下命令：

pip install pysail
pip install "pyspark[connect]"

注：如果您使用的是 Spark 4.0 及以上版本，也可以选择不带额外依赖的轻量级客户端 pyspark-client 或 pyspark-connect。

2. 验证安装

安装完成后，您可以通过检查版本号来确认安装是否成功（可选）：

python -c "import pysail; print(pysail.__version__)"

基本使用

Sail 的使用流程分为两步：启动 Sail 服务器 和 通过 PySpark 连接。您的现有 PySpark 代码无需任何修改即可运行。

第一步：启动 Sail 服务器

您可以选择通过命令行或 Python API 启动本地 Sail 服务器。

方式 A：使用命令行 (推荐)

在终端中运行以下命令启动服务器（默认端口 50051）：

sail spark server --port 50051

方式 B：使用 Python API

如果您希望在 Python 脚本中控制服务器生命周期：

from pysail.spark import SparkConnectServer

server = SparkConnectServer(port=50051)
server.start(background=False)

保持该终端或进程运行，不要关闭。

第二步：连接并运行任务

打开一个新的终端窗口或 Python 脚本，使用标准的 PySpark SparkSession 连接到正在运行的 Sail 服务器。

from pyspark.sql import SparkSession

# 连接到本地运行的 Sail 服务器
spark = SparkSession.builder.remote("sc://localhost:50051").getOrCreate()

# 执行简单的 SQL 查询
spark.sql("SELECT 1 + 1 AS result").show()

# 您也可以直接使用 DataFrame API，语法与原生 Spark 完全一致
df = spark.range(10).select("id")
df.show()

后续步骤

一旦连接成功，您就可以像使用普通 Spark 一样处理大规模数据、读取 S3/HDFS 存储、操作 Delta Lake 或 Iceberg 表格式。Sail 将自动利用其列式内存格式和向量化执行引擎来加速您的任务。

如需部署到 Kubernetes 集群或使用更多高级功能，请参考官方 部署指南 和 文档。