Aqueduct 是一个 MLOps 框架，允许你在任何云基础设施上定义和部署机器学习及大语言模型工作负载。查看我们的快速入门指南！→

Aqueduct 是一个开源的 MLOps 框架，它允许你使用原生 Python 编写代码，在任何你希望使用的云基础设施上运行这些代码，并对你的模型和预测的执行与性能获得可视化洞察。查看 Aqueduct 支持哪些基础设施。→

以下是开始使用的方法：

pip3 install aqueduct-ml
aqueduct start

工作原理

Aqueduct 的原生 Python API 允许你用普通的 Python 代码定义机器学习任务。你可以将 Aqueduct 连接到你现有的云基础设施（文档），然后 Aqueduct 会无缝地将你的代码从本地电脑迁移到云端，或者在不同的云基础设施层之间迁移。

例如，我们可以用几行 Python 代码定义一个管道：在 Kubernetes 上使用 GPU 训练模型，并在 AWS Lambda 中验证该模型：

# 使用现有的 LLM。
vicuna = aq.llm_op('vicuna_7b', engine='eks-us-east-2')
features = vicuna(
    raw_logs,
    { 
        "prompt": 
        "把这条日志条目转换成 CSV：{text}" 
    }
)

# 或者在你喜欢的基础设施上编写自定义操作！
@op(
  engine='kubernetes',
  # 获取 GPU。
  resources={'gpu_resource_name': 'nvidia.com/gpu'}
)
def train(featurized_logs):
  return model.train(features) # 训练你的模型。

train(features)

一旦你将这个工作流发布到 Aqueduct，你就可以在 UI 上看到它：

要了解如何构建你的第一个工作流，请查看我们的 快速入门指南！→

为什么选择 Aqueduct？

MLOps 已经变成了一个由孤立基础设施组成的复杂混乱的局面。大多数团队需要设置和运维多种不同的云基础设施工具才能高效地运行机器学习任务，但这些工具的 API 各不相同，彼此之间的互操作性也很差。

Aqueduct 提供了一个统一的接口，用于在你现有的云基础设施上运行机器学习任务——无论是 Kubernetes、Spark、Lambda 还是其他平台。通过同一个 Python API，你可以无缝地在这些系统中的任意一个或全部上运行代码，并实时监控代码的执行情况。

• 原生 Python 管道 API：Aqueduct 的 API 允许你用原生 Python 定义工作流，从而快速有效地将代码投入生产。无需再担心 DSL 或 YAML 配置文件。
• 与现有基础设施无缝集成：在 Aqueduct 中定义的工作流可以在你使用的任何云基础设施上运行，比如 Kubernetes、Spark、Airflow 或 AWS Lambda。你无需替换现有工具，即可享受 Aqueduct 带来的所有优势。
• 集中式代码、数据和元数据可见性：一旦你的工作流投入生产，你就需要知道正在运行什么、是否正常工作以及何时出现故障。Aqueduct 可以让你查看每次运行中生成的代码、数据、指标和元数据，从而确保你的管道按预期运行，并在出现问题时立即知晓。
• 在你的云环境中安全运行：Aqueduct 完全开源，可在任何 Unix 环境中运行。它完全在你的云环境和基础设施中运行，因此你可以放心你的数据和代码是安全的。

概述与示例

Aqueduct 中的核心抽象是 工作流，它是由一系列 工件（数据）组成，这些工件通过 操作符（计算）进行转换。 工作流的输入工件通常从数据库加载，而输出工件则通常会持久化回数据库。 每个工作流可以按照固定的时间表运行，也可以按需触发。

要查看 Aqueduct 在实际机器学习工作流中的应用，请参阅以下示例：

• 客户流失集成模型
• 情感分析
• 填补缺失的葡萄酒数据
• ……还有更多!

下一步是什么？

请查看我们的文档，其中包含：

• 快速入门指南
• 示例工作流
• 以及关于创建工作流的更多详细信息

如果您有任何问题或意见，或者想了解更多关于我们正在构建的内容，请联系我们，加入我们的 Slack 社区，或在 GitHub 上发起讨论。我们非常期待您的反馈！

如果您有兴趣参与贡献，请查看我们的路线图，并加入社区 Slack 中的开发频道。

Aqueduct 快速上手指南

Aqueduct 是一个开源的 MLOps 框架，允许你使用纯 Python 代码定义机器学习（ML）和大语言模型（LLM）工作流，并将其无缝部署到任何云基础设施（如 Kubernetes, Spark, AWS Lambda 等）上运行。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统：支持任何 Unix 环境（Linux, macOS）。Windows 用户建议使用 WSL2。
• Python 版本：Python 3.8 或更高版本。
• 包管理工具：已安装 pip 或 pip3。
• 云基础设施（可选）：如果你计划将任务部署到云端，需提前配置好相应的云账号凭证（如 AWS CLI, Kubeconfig 等）。本地运行无需额外配置。

安装步骤

使用 pip 安装 Aqueduct 客户端库：

pip3 install aqueduct-ml

提示：国内开发者若遇到下载速度慢的问题，可使用清华源加速安装：

pip3 install aqueduct-ml -i https://pypi.tuna.tsinghua.edu.cn/simple

安装完成后，启动 Aqueduct 服务：

aqueduct start

该命令会在本地启动 Aqueduct 引擎，并自动打开 Web UI 界面供你监控工作流状态。

基本使用

Aqueduct 的核心在于使用纯 Python API 定义工作流。以下是一个简单的示例，展示如何调用现有的 LLM 处理数据，或在指定基础设施上运行自定义训练任务。

1. 导入与连接

首先在你的 Python 脚本或 Notebook 中导入库并连接本地服务：

import aqueduct as aq

# 连接到本地启动的 Aqueduct 实例
client = aq.Client()

2. 定义工作流

你可以混合使用预定义的 LLM 操作和自定义的 Python 函数。以下示例展示了如何处理日志数据并训练模型：

# 示例 1: 使用现有的 LLM 操作 (例如 Vicuna)
# 指定运行引擎，例如 eks-us-east-2
vicuna = aq.llm_op('vicuna_7b', engine='eks-us-east-2')

# 定义输入数据和处理提示词
features = vicuna(
    raw_logs,
    { 
        "prompt": "Turn this log entry into a CSV: {text}" 
    }
)

# 示例 2: 定义自定义操作 (Operator)
# 指定在 Kubernetes 上运行，并申请 GPU 资源
@aq.op(
  engine='kubernetes',
  resources={'gpu_resource_name': 'nvidia.com/gpu'}
)
def train(featurized_logs):
  # 在这里编写你的标准模型训练代码
  return model.train(featurized_logs)

# 执行训练任务
train_result = train(features)

3. 发布与运行

定义好工作流后，将其发布到 Aqueduct 即可运行。你可以在代码中触发运行，也可以在 Web UI 中查看执行详情、日志和输出数据。

# 发布工作流 (Workflow)
workflow = client.publish_workflow(
    name="my-first-ml-pipeline",
    flows=[train_result]
)

# 触发运行
workflow.run()

运行后，访问本地浏览器打开的 Aqueduct UI 面板，即可实时查看代码执行情况、数据血缘及性能指标。

---

更多详细用法、支持的云集成列表及高级示例，请访问 Aqueduct 官方文档。