什么是 Fluid？

Fluid 是一个开源的 Kubernetes 原生分布式数据集编排器和加速器，专为大数据和 AI 等数据密集型应用而设计。它由 云原生计算基金会（CNCF）托管，目前处于孵化阶段。

更多信息请参阅我们的论文：

1. Rong Gu, Kai Zhang, Zhihao Xu, et al. Fluid：面向云原生深度学习训练作业的数据集抽象与弹性加速。IEEE ICDE，第2183–2196页，2022年5月。（会议版）

2. Rong Gu, Zhihao Xu, Yang Che, et al. 面向云原生平台下数据密集型AI应用的高级数据抽象与弹性数据缓存。IEEE TPDS，第2946–2964页，第34卷第11期，2023年。（期刊版）

Fluid

英语 | 简体中文

最新动态！
🎉 2026年1月8日：Fluid 已晋升为 CNCF 孵化项目！CNCF 技术监督委员会（TOC）正式接受 Fluid 作为孵化项目，这是其成熟度和社区采用方面的一个重要里程碑。
v1.0.8 版本发布：2025年10月31日。Fluid v1.0.8。详情请参阅 CHANGELOG。
v1.0.7 版本发布：2025年9月21日。Fluid v1.0.7。详情请参阅 CHANGELOG。
v1.0.6 版本发布：2025年7月12日。Fluid v1.0.6。详情请参阅 CHANGELOG。
2021年4月27日。Fluid 被 CNCF 接受！经过评审流程后，CNCF 技术监督委员会（TOC）以多数票通过了将 Fluid 项目接纳为 CNCF 沙盒项目的决定。Fluid 迎来了新的起点！ .

功能特性

• 数据集抽象

  实现对来自多个存储源的数据集的统一抽象，并提供可观测性功能，帮助用户评估是否需要扩展缓存系统。

• 可扩展的缓存运行时

  提供统一的数据访问接口，支持不同运行时的数据操作，从而实现对第三方存储系统的访问。

• 自动化数据操作

  提供多种自动化数据操作模式，便于与自动化运维系统集成。

• 弹性与调度

  通过结合数据缓存技术与弹性伸缩、可移植性、可观测性和数据亲和力调度能力，提升数据访问性能。

• 运行时平台无关

  支持多种环境，并可根据环境运行不同的存储客户端，包括原生环境、边缘环境、Serverless Kubernetes 集群以及多集群 Kubernetes 环境。

核心概念

数据集：数据集是一组在逻辑上相关联的数据，可供计算引擎使用，例如用于大数据分析的 Spark 和用于 AI 应用的 TensorFlow。智能地利用数据往往能够创造核心行业价值。管理数据集可能需要涵盖安全、版本管理和数据加速等多个维度的功能。我们希望从数据加速入手，来支持数据集的管理。

运行时：运行时负责实施数据集的隔离与共享，提供版本管理功能，并通过定义一套贯穿数据集生命周期的接口来实现数据加速，从而在这些接口背后实现管理和加速功能。

系统要求

• Kubernetes 版本 > 1.16，且支持 CSI
• Golang 1.18+
• Helm 3

快速入门

您可以按照我们的入门指南，快速启动一个测试用的 Kubernetes 集群。

文档

您可以在 docs 中找到更详细的安装说明及生产环境使用指南：

• 英文
• 简体中文

您也可以访问 Fluid 官网，获取相关文档。

快速演示

路线图

路线图详情请参阅 ROADMAP.md。该文件可能会不时更新。

社区

如果您有任何问题，请随时联系我们。本项目的维护者可通过以下方式联系：

钉钉群：

微信群：

微信公众号：

Slack：

• 加入 CNCF Slack，并前往 #fluid 频道进行讨论。

贡献

我们非常欢迎并感激您的贡献。有关提交补丁和贡献流程的详细信息，请参阅 CONTRIBUTING.md。

采用者

如果您对 Fluid 感兴趣，并希望与他人分享您的使用经验，欢迎您在 ADOPTERS.md 页面上添加您的信息。我们将持续与您提前探讨新的需求和功能设计。

开源许可证

Fluid 采用 Apache 2.0 许可证。详细信息请参阅 LICENSE 文件。该许可证具有厂商中立性。

报告漏洞

安全是 Fluid 团队的首要任务。如果您发现相关问题，请发送邮件至 fluid.opensource.project@gmail.com。更多详情请参阅我们的 SECURITY.md 文件。

行为准则

Fluid 采纳 CNCF 行为准则。

Fluid 快速上手指南

Fluid 是一个云原生的分布式数据集编排与加速引擎，专为大数据和 AI 等数据密集型应用设计。它通过抽象数据集概念，提供弹性缓存、数据亲和性调度等功能，显著提升云端数据访问性能。

环境准备

在部署 Fluid 之前，请确保您的环境满足以下要求：

• Kubernetes 集群：版本需大于 1.16，且必须支持 CSI (Container Storage Interface)。
• Go 语言环境：版本 1.18 或更高（仅用于二次开发或源码编译，二进制部署无需此依赖）。
• 包管理工具：已安装 Helm 3。
• kubectl：已配置好与 Kubernetes 集群的连接。

提示：国内用户建议使用国内镜像源加速 Helm 仓库和容器镜像拉取，以提升安装速度。

安装步骤

推荐使用 Helm 进行安装。以下是基于官方仓库的安装命令（国内网络环境不佳时，建议配置国内 Helm 源或手动拉取镜像）：

1. 添加 Fluid Helm 仓库

   helm repo add fluid https://fluid-cloudnative.github.io/charts
   helm repo update
   

2. 创建命名空间

   kubectl create namespace fluid-system
   

3. 安装 Fluid

   helm install fluid fluid/fluid --namespace fluid-system
   

4. 验证安装状态 等待所有 Pod 运行正常：

   kubectl get pods -n fluid-system
   

   当看到 dataset-controller, alluxioruntime-controller, csi-nodeplugin 等相关组件状态为 Running 时，表示安装成功。

基本使用

以下示例展示如何创建一个基于 Alluxio 运行时的高速缓存数据集，并让一个计算任务加速访问远程数据。

1. 定义数据集 (Dataset) 和运行时 (Runtime)

创建一个名为 hdfs-dataset.yaml 的文件，定义一个指向公共 HDFS 测试数据的数据集，并指定使用 Alluxio 作为缓存引擎：

apiVersion: data.fluid.io/v1alpha1
kind: Dataset
metadata:
  name: hdfs-dataset
spec:
  mounts:
    - mountPoint: hdfs://freemium.feihong.cn/user/root/testdata
      name: hdfs
  runtime:
    type: alluxio
---
apiVersion: data.fluid.io/v1alpha1
kind: AlluxioRuntime
metadata:
  name: hdfs-dataset
spec:
  replicas: 2
  tieredstore:
    levels:
      - mediumtype: MEM
        path: /dev/shm
        quota: 2Gi
        high: "0.95"
        low: "0.7"

应用配置：

kubectl apply -f hdfs-dataset.yaml

查看数据集状态，等待 PHASE 变为 Bound 且 UFS TOTAL SIZE 有数值：

kubectl get dataset hdfs-dataset

2. 创建加速访问的任务

创建一个简单的 Pod 来挂载并使用该数据集。Fluid 会自动将数据缓存到本地节点，实现加速访问。

创建 task.yaml：

apiVersion: v1
kind: Pod
metadata:
  name: nginx
spec:
  containers:
    - name: nginx
      image: nginx
      volumeMounts:
        - mountPath: "/data"
          name: hdfs-vol
  volumes:
    - name: hdfs-vol
      persistentVolumeClaim:
        claimName: hdfs-dataset

应用任务：

kubectl apply -f task.yaml

3. 验证加速效果

进入 Pod 内部查看数据加载情况：

kubectl exec -it nginx -- ls -l /data

此时，Fluid 已经接管了数据访问路径。您可以通过观察 Alluxio 的监控指标或查看 Pod 所在节点的缓存命中情况，来验证数据加速效果。对于大规模训练任务，只需将 PVC 名称替换为您的 Dataset 名称即可无缝接入。