[!IMPORTANT]

正在寻找 Flyte 2 吗？

• 想在本地使用 Flyte 吗？ 请访问 flyte-sdk — Flyte 2 的全新 Python SDK。
• 希望参与分布式后端的开发吗？ 请查看本仓库的 v2 分支。

以下 README 适用于 Flyte 1.x。

---

Flyte

:building_construction: :rocket: :chart_with_upwards_trend:

Flyte 是一个开源的工作流编排系统，用于构建生产级别的数据和机器学习流水线。它专为可扩展性和可重复性而设计，并以 Kubernetes 作为其底层平台。借助 Flyte，用户团队可以使用 Python SDK 构建流水线，并将其无缝部署到云端和本地环境中，从而实现分布式处理和高效的资源利用。

构建

用 Python 或其他语言编写代码，并利用强大的类型引擎。

部署与扩展

无论是在本地还是远程集群上，都可以轻松执行您的模型。

开始使用 · 文档 · 资源

目录

• 快速入门
• 教程
• 特性
• 谁在使用 Flyte
• 如何参与
• 如何贡献

---

快速入门

1. 安装 Flyte 的 Python SDK

pip install flytekit

2. 创建一个工作流（参见 示例）
3. 在本地运行：

pyflyte run hello_world.py hello_world_wf

准备好尝试 Flyte 集群了吗？

1. 创建一个新的沙盒集群，以 Docker 容器的形式运行：

flytectl demo start

2. 现在可以在集群上执行您的工作流：

pyflyte run --remote hello_world.py hello_world_wf

想了解更多但又不想安装任何东西吗？

试试基于 Flyte 构建的 Union 平台（signup.union.ai），即可免费获得 GPU、数据血缘追踪等功能！

准备投入生产了吗？

请参阅 部署指南，了解如何在不同环境上安装 Flyte。

教程

• 在 Flyte 代码库上微调 Code Llama
• 使用 Horovod 和 Spark 预测销售额
• 使用 BLASTX 查询核苷酸序列

功能特性

🚀 强类型接口：通过使用 Flyte 类型定义数据护栏，在工作流的每一步验证数据。
🌐 任意语言：使用原生容器编写任何语言的代码，或选择 Python、Java、Scala 或 JavaScript SDK 来开发你的 Flyte 工作流。
🔒 不可变性：不可变的执行有助于确保可重复性，因为它可以防止对执行状态的任何更改。
🧬 数据血缘：跟踪数据和机器学习工作流生命周期中数据的流动与转换。
📊 映射任务：使用 映射任务 以最少的配置实现并行代码执行。
🌎 多租户支持：多个用户可以在共享同一平台的同时，保持各自独立的数据和配置。
🌟 动态工作流：构建灵活且可适应的工作流，可以根据需要进行更改和演进，从而更轻松地应对不断变化的需求。
⏯️ 在继续执行之前，等待 外部输入。
🌳 分支逻辑：根据其他任务生成的静态或动态数据，或者输入数据，有选择地执行工作流分支。
📈 数据可视化：通过图表可视化数据、监控模型并查看训练历史。
📂 FlyteFile 和 FlyteDirectory：在本地存储和云存储之间传输 文件 和 目录。
🗃️ 结构化数据集：使用 结构化数据集 提供的抽象二维表示，在不同类型之间转换数据框，并强制执行列级类型检查。
🛡️ 故障恢复：仅恢复失败的任务。
🔁 重跑单个任务：在不修改数据/机器学习工作流先前状态的情况下，以最细粒度级别重新运行工作流。
🔍 缓存输出：通过将 cache=True 传递给任务装饰器来缓存任务输出。
🚩 任务内检查点：在任务执行过程中 记录进度。
⏰ 超时设置：定义一个超时时间，超过该时间后任务将被标记为失败。
🏭 从开发到生产：只需将你的 域 从开发或预发布环境切换到生产环境即可。
💸 竞价实例或抢占式实例：通过在任务装饰器中将 interruptible 设置为 True，将你的工作流调度到竞价实例上运行。
☁️ 云原生部署：可在 AWS、GCP、Azure 等云服务上部署 Flyte。
📅 调度功能：调度 数据和机器学习工作流在特定时间运行。
📢 通知机制：通过 Slack、PagerDuty 或电子邮件配置 通知，及时了解工作流状态的变化。
⌛️ 时间线视图：评估每个 Flyte 任务的执行时长，识别潜在的瓶颈。
💨 GPU 加速：通过在任务装饰器中请求资源，启用并控制任务的 GPU 需求。
🐳 容器化依赖隔离：为每个任务维护独立的依赖项集合，避免依赖冲突。
🔀 并行性：Flyte 任务天生具有并行性，以优化资源消耗并提升性能。
💾 在任务级别动态分配资源。

谁在使用 Flyte

加入 LinkedIn、Spotify、Freenome、Pachama、华纳兄弟等众多企业，共同采用 Flyte 应用于关键业务场景。有关完整采用者名单及如何添加贵组织或项目的信息，请访问我们的 ADOPTERS 页面。

如何参与社区

👥 每月社区同步会议：每月第一个周二举行，Flyte 团队在此分享项目最新进展，社区成员也可交流工作成果并提问。
💬 Slack：加入 Flyte 社区的 Slack 群组，与其他用户交流、提问并获得帮助。
⚠️ 邮件通讯：订阅此群组以接收 Flyte 每月通讯。
📹 YouTube：观看专题讨论、客户成功案例、社区更新以及功能深度解析视频。
📄 博客：在这里你可以找到教程和功能深度解析文章，帮助你更好地了解 Flyte。
💡 RFCs: RFC 是用于提出改进 Flyte 的新想法和功能的文档。你可以参考它们来了解最新进展，并为平台的发展贡献力量。

如何贡献

参与 Flyte 的方式有很多，包括：

• 提交针对各个组件的 Bug 报告 和 功能请求。
• 审核 文档 并提交 Pull Request，无论是修复拼写错误还是添加新内容。
• 分享关于 Flyte 或其他生态集成的经验，或撰写相关文章，并 告知我们！
• 接手一个 help wanted 或 good-first-issue，并按照 CONTRIBUTING 指南提交代码更改。
• 为 热门功能请求 投票，以表达你的支持。

我们 :heart: 我们的贡献者

许可证

Flyte 根据 Apache 许可证 2.0 版本提供。请合理使用。

Flyte 快速上手指南

Flyte 是一个基于 Kubernetes 构建的开源编排引擎，专为可扩展、可复现的生产级数据和机器学习流水线设计。支持 Python 等多种语言，可无缝部署于云端或本地环境。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux, macOS 或 Windows (需配合 WSL2)
• Python: 版本 3.8 或更高
• 包管理器: pip
• 可选 (用于集群部署):
  • Docker (运行本地 Sandbox 集群)
  • kubectl (管理 Kubernetes 集群)

提示: 国内开发者若遇到 PyPI 下载缓慢问题，建议使用清华或阿里镜像源安装依赖。

安装步骤

1. 安装 Flyte Python SDK

使用 pip 安装核心开发库 flytekit。

# 使用默认源
pip install flytekit

# 或使用国内镜像加速 (推荐)
pip install flytekit -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装命令行工具 (可选但推荐)

如果您计划启动本地 Sandbox 集群或使用高级管理功能，请安装 flytectl。

• macOS / Linux:

  curl -sL https://ctl.flyte.org/install | bash
  

• Windows (PowerShell):

  iwr -useb https://ctl.flyte.org/install.ps1 | iex
  

基本使用

场景一：本地快速运行 (无需集群)

适合快速验证代码逻辑和流水线定义。

1. 创建工作流程文件 (hello_world.py)：

   from flytekit import task, workflow
   
   @task
   def say_hello(name: str) -> str:
       return f"Hello, {name}!"
   
   @workflow
   def hello_world_wf(name: str) -> str:
       return say_hello(name=name)
   
   if __name__ == "__main__":
       # 本地执行测试
       print(f"Running locally: {hello_world_wf(name='Flyte User')}")
   

2. 运行工作流： 使用 pyflyte run 命令在本地执行。

   pyflyte run hello_world.py hello_world_wf
   

场景二：连接 Sandbox 集群运行

适合模拟真实的生产环境，体验完整的 UI 界面和调度功能。

1. 启动本地 Sandbox 集群： 这将启动一个包含 Flyte 后端服务的 Docker 容器。

   flytectl demo start
   

   启动成功后，可在浏览器访问 http://localhost:30080 查看 Dashboard。

2. 远程执行工作流： 添加 --remote 标志将任务提交到刚启动的 Sandbox 集群。

   pyflyte run --remote hello_world.py hello_world_wf
   

执行完成后，您可以在 Flyte Dashboard 中查看任务的状态、日志和数据血缘关系。

---

更多高级功能（如定时调度、GPU 加速、多租户配置）请参考官方文档：https://docs.flyte.org/