开源的持续机器学习平台

仅用 Python 即可构建机器学习流水线，可在您的笔记本电脑或云端运行。

Sematic 是一个开源的机器学习开发平台。它使机器学习工程师和数据科学家能够使用简单的 Python 编写任意复杂的端到端流水线，并在本地机器、云虚拟机或 Kubernetes 集群上执行，以充分利用云资源。

Sematic 基于顶级自动驾驶公司积累的经验。它支持将数据处理任务（如 Apache Spark）与模型训练（如 PyTorch、TensorFlow）或其他任意 Python 业务逻辑串联成类型安全、可追踪且可复现的端到端流水线，这些流水线可以在现代 Web 仪表板中进行监控和可视化。

请阅读我们的 文档，并加入我们的 Discord 社区。

为什么选择 Sematic

• 轻松上手：无需部署或基础设施即可开始使用，只需在本地安装 Sematic 并开始探索。
• 本地与云端一致：在本地笔记本电脑和 Kubernetes 集群上运行相同的代码。
• 端到端可追溯性：所有流水线工件都会被持久化、跟踪，并可在 Web 仪表板中可视化。
• 访问异构计算资源：为每个流水线步骤自定义所需的资源，以优化性能和云资源占用（CPU、内存、GPU、Spark 集群等）。
• 可复现性：从 UI 重新运行流水线，确保结果的可复现性。

快速入门

要在本地开始使用，只需在您的 Python 环境中安装 Sematic：

$ pip install sematic

启动本地 Web 仪表板：

$ sematic start

运行示例流水线：

$ sematic run examples/mnist/pytorch

创建一个新的样板项目：

$ sematic new my_new_project

或者基于现有示例：

$ sematic new my_new_project --from examples/mnist/pytorch

然后通过以下命令运行：

$ python3 -m my_new_project

要将 Sematic 部署到 Kubernetes 并利用云资源，请参阅我们的 文档。

功能特性

• 轻量级 Python SDK：定义任意复杂的端到端流水线。
• 流水线嵌套：可以将流水线任意嵌套到更大的流水线中。
• 动态图：Python 定义的图允许迭代、条件分支等操作。
• 血缘追踪：所有步骤的输入和输出都会被持久化并追踪。
• 运行时类型检查：通过运行时类型检查尽早发现问题。
• Web 仪表板：在现代 Web 界面中监控、跟踪和可视化流水线。
• 工件可视化：在 Web 仪表板中可视化所有步骤的输入和输出。
• 本地执行：无需任何部署即可在本地机器上运行流水线。
• 云编排：在 Kubernetes 上运行流水线以访问 GPU 和其他云资源。
• 异构计算资源：在不同设备上运行不同的步骤（如 CPU、内存、GPU、Spark 等）。
• Helm Chart 部署：将 Sematic 安装到您的 Kubernetes 集群。
• 流水线重跑：可以从图中的任意点通过 UI 重新运行流水线。
• 步骤缓存：缓存昂贵的流水线步骤以加快迭代速度。
• 步骤重试：通过步骤重试恢复因临时故障而中断的任务。
• 元数据与协作：标签、源代码可视化、文档字符串、备注等。
• 丰富的集成：详见下文。

集成

• Apache Spark：按需在集群内启动 Spark 集群。
• Ray：按需在集群内分配 Ray 资源。
• Snowflake：轻松查询您的数据仓库（也支持其他数据仓库）。
• Plotly、Matplotlib：在 Web 仪表板中可视化图表工件。
• Pandas：在仪表板中可视化 DataFrame 工件。
• Grafana：将 Grafana 面板嵌入 Web 仪表板。
• Bazel：与您的 Bazel 构建系统集成。
• Helm Chart：使用我们的 Helm Chart 部署到 Kubernetes。
• Git：在 Web 仪表板中跟踪 Git 信息。

社区与资源

欲了解更多关于 Sematic 的信息并取得联系，请访问以下资源：

• Sematic 首页
• 文档
• Discord 社区
• YouTube 频道
• 我们的博客

参与贡献！

如您想为 Sematic 做出贡献，请查看 标记为“good first issue”的未解决问题，并在 Discord 上与我们联系。您可以在我们的 开发者文档 中找到设置开发环境的说明。如果您想添加一个示例，也可以参考 此指南。

Sematic 快速上手指南

Sematic 是一个开源的持续机器学习平台，允许你仅使用 Python 构建复杂的端到端 ML 流水线，并支持在本地笔记本、云端虚拟机或 Kubernetes 集群上无缝运行。

环境准备

• 操作系统：Linux、macOS 或 Windows（WSL2 推荐）
• Python 版本：3.9 - 3.13
• 前置依赖：
  • pip 包管理工具
  • 可选：Docker（用于本地模拟云环境）或 Kubernetes 集群（用于生产部署）

提示：国内开发者建议使用国内镜像源加速安装，例如清华源或阿里源。

安装步骤

1. 安装 Sematic

   使用默认源：

   pip install sematic
   

   或使用国内镜像源（推荐）：

   pip install sematic -i https://pypi.tuna.tsinghua.edu.cn/simple
   

2. 启动本地 Web 仪表盘

   安装完成后，启动本地开发服务器以查看流水线可视化界面：

   sematic start
   

   启动后，浏览器会自动打开或访问 http://localhost:8080。

基本使用

1. 运行示例流水线

体验 Sematic 的最快方式是运行内置的 MNIST 手写数字识别示例（基于 PyTorch）：

sematic run examples/mnist/pytorch

运行期间，你可以在 Web 仪表盘中实时查看每一步的执行状态、输入输出数据及可视化图表。

2. 创建新项目

基于模板创建一个全新的项目骨架：

sematic new my_new_project

或者基于现有示例（如 MNIST）创建：

sematic new my_new_project --from examples/mnist/pytorch

3. 运行自定义项目

进入项目目录并执行：

cd my_new_project
python3 -m my_new_project

此时，你的代码将在本地执行，结果自动记录并在 Web 仪表盘中展示。无需任何额外的基础设施配置即可实现从本地开发到云端部署的代码一致性。